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20 世纪 70 年 代 末 ， 作 者 在 研究 实数 展 式 的 概率 性 质 和 马尔 可 大 链 的 强大 数 
定律 时 ， 提 出 了 一 种 研究 强 极限 定理 的 分 析 方 法 ， 这 个 方法 的 要 点 是 用 区 间 前 分 
法 在 概率 空间 ([0, 1), Z, P)( 其 中 Z H [0,1) 中 的 Lebesgue 可 测 集 的 全 体 ， PX 
Lebesgue 测度 ) 中 给 出 随机 变量 序列 的 一 种 实现 ， 再 构造 依赖 于 一 个 参数 的 单调 
函数 ， 并 应 用 Lebesgue 关于 单调 通 数 可 微 性 的 定理 证 明 某 些 极 限 a.s. 存在 ， 然 后 
通过 纯 分 析 和 运算 来 证 胡 所 需 的 结论 ， 在 其 后 的 研究 中 ， 作 者 又 将 这 种 方法 和 和 母 函 
M. ERAR, ERAS, Laplace 2518 5$ T. FLEL IRURE I5 Ped P 2 HACER 7 0E 
结合 起 来 ， 扩 大 了 方法 的 应 用 范围 . 在 此 基础 上 ， 通 过 引进 似 然 比 作为 随机 变量 
序列 相对 于 不 同 测度 的 差异 的 一 种 度量 ， 作 者 建立 了 一 类 新 型 定理 一 一 强 偏差 定 
HE (也 称 为 小 偏差 定理 ), 将 概率 论 中 的 强 极 限定 理 推广 到 用 不 等 式 表示 的 情形 . 

近 10 年 来 , 作者 和 杨 卫 国 、 刘 国 欣 . BR. 刘 自 宽 , 汪 忠 志 . 张丽娜 . 陈 志 刚 、 
刘 玉 灿 、 王 金 带 、 工 玉 津 、 焉 丽 英 诸 同 志 利 用 这 种 方法 在 强 偏差 定理 、 Shannon- 
McMillan 定理 、 赌博 系统 、 任 意 相依 和 随机 变量 序列 的 强 极限 定理 、 马 尔 可 夫 链 及 
树 上 马尔 可 大 链 场 的 强 极限 定理 等 领域 做 了 不 少 工作 、 本 书 的 目的 就 是 要 对 这 方 
面 的 研究 作 一 总 结 ， 使 之 系统 化 ， 并 结合 作者 的 最 新 研究 ， 对 过 去 的 某 些 结果 作 
出 改进 . 

本 书 其 分 8 章 ， 第 一 章 通 过 给 出 几 个 强 极限 定理 的 新 证 明 来 阐述 分 析 方 法 的 
基本 思想 、 第 二 章 给 出 非 齐 次 马尔 可 夫 链 在 区 间 [0,1) 上 的 实现 ， 并 在 此 基础 上 用 
分 析 方 法 研究 其 极限 性 质 ， 第 三 章 和 第 四 章 分 别 研究 关于 履 积 分 布 和 马尔 可 夫 型 
分 布 的 强 偏差 定理 . 第 五 章 利用 短 母 函数 和 条 件 矩 母 函 数 的 工具 ， 研 究 强 偏差 定 
理 和 随机 偏差 定理 ， 第 六 章 简 述 赌博 系统 强 极限 定理 的 分 析 方 法 ， 并 讨论 了 具有 
变化 赌注 的 公平 赌博 问题 ， 第 七 章 介绍 连续 型 随机 变量 和 任意 随机 变量 序列 的 强 
偏差 定理 的 概念 和 基本 思想 ， 证 明了 几 个 相对 于 某 些 特殊 型 连续 分 布 的 强 偏 差 定 
理 ， 并 给 出 在 这 类 定理 中 应 用 Laplace 变换 的 一 种 途径 ， 第 八 章 讨论 树 上 马尔 可 
夫 链 场 的 若干 极限 性 质 ， 并 将 强 偏差 定理 的 概念 推广 到 Cayley 树 上 马尔 可 夫 链 场 
的 情况 . 

作者 衷心 感谢 导师 王 梓 坤 院士 数 十 年 来 对 作者 的 帮助 和 鼓动 ， 王 老师 对 作者 
的 研究 工作 和 学 术 生 涯 , 给 予 深 刻 的 启迪 种 影响 , 本 书 就 是 在 他 的 关心 下 完成 前 . 
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TKE KX., Ba., Hpi. POBDOM IS 314 IEEE LIE ATERA 
鼓励 ， 作 者 在 此 说 致 谢意， 作者 十 分 感谢 杨 卫 国教 授 ， 本 书 所 总 结 的 研究 成 果 有 
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第 一 章 强 极限 定理 分 析 方 法 的 基本 思想 


作者 在 研究 实数 展 式 的 概率 性 质 和 马尔 可 夫 链 的 强大 数 定律 时 , 提出 了 一 种 研 
究 强 极限 定理 的 分 析 方 法 . 这 个 方法 的 要 点 是 用 区 间 前 分 法 在 概率 空间 ([0, 1), F, P) 
(其 中 三 为 [0,1) 中 Lebesgue 可 测 集 的 全 体 ， P 为 Lebesgue 测度 ) 中 给 出 随机 变 
量 序 列 的 一 种 实现 ， 再 构造 依 棉 于 一 个 参数 的 单调 函数 ， 并 应 用 Lebesgue 关于 单 
调 函 数 可 微 性 的 定理 来 证 明 某 些 极限 a.s. 存在 ， 然 后 通过 纯 分 析 运 算 来 证 明 所 需 
的 结论 ， 本 章 中 我 们 通过 几 个 具体 问题 来 说 明 这 一 方法 . 


811 Borel 强大 数 定律 的 分 析 证 明 


设 Snin > 1) 是 成 功 概率 为 p(0 < p « 1) If] n tX Bernouli 试验 中 出 现成 功 的 
次 数 ， 则 Borel 强大 数 定律 断言 


P (im. = = ) = 1. 

这 一 结果 通常 是 应 用 强 有 力 的 概率 工具 或 组 合 分 析 的 方法 来 证 明 的 {参见 Chow 与 
Teicher 1988, p.42, Chung 1974, p.97 及 Rohatgi 1976, p.273). Tomkins(1984) 
及 Teylor 与 Hu(1987) 给 出 的 证 明 虽 比 通常 证 明 要 简单 , 但 他 们 仍 用 到 基本 的 概率 
结果 . 本 节 中 ,我 们 将 给 出 Bord 强大 数 定律 一 种 新 的 分 析 证 明 ( 见 刘 文 1991b), 
其 要 点 是 将 关于 单调 函数 几乎 处 处 可 徽 的 Lebesgue 定理 (参见 Hildebrandt 1963, 
p.358) 应 用 于 a.s. Beat hI. 

引 理 1.1.1 H f E [a,b] EKER, {an} (bs) 是 任意 两 个 数列 ， 满 足 
条 件 : 


a < a, < z < b, < b, ax b,, n — solli, an — z, bn — z. 
mE f Ereje b bur, MU 
lim f(bn) flan) = f'(a). 


n—o0o b, 一 ün 
证 不 妨 设 an < z < bn, * An = (bn — m)/(b,, — aa), WO cA, «1H 
f(ba) 7 flan) — f'(z) = An e 7 f(x) re) 


ba 一 0n n— E 
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fib n) - 二 


+(1 — Àn) - f'(z)|. 


由 此 即 得 引 理 得 结论 . 

首先 我 们 来 构造 Bernouli 序列 的 一 个 分 析 模 型 . 

设 0<p<1. EA (1 — p) : p 将 区 间 [0,1] 分 成 两 个 闭 区 间 Do = [0,1 — 
pDi = [1 —>n,1]. 这 两 个 区 间 都 称 为 一 阶 D 区间. 一 般 地 ， 将 每 个 n 阶 品 区 癌 
D, sus (zi = 0, 1;i = 1,2,--- n) 都 按 比 例 (1 — p) : p 分 成 两 个 闭 区 间 De, n.o 与 
De-a, 就 得 到 nn 十 1 Br D 区间 ， 依 此 类 推 ， 上 述 程 序 称 为 榨 比 例 (1— p) :p XX 
次 分 割 区 间 [0, 1]. 

易 知 ， 对 于 由 0 与 1 组 成 的 任 一 无 穷 序 列 {en} 区 间 套 D. C Du C 


Deum C : 有 惟一 的 公共 点 w e [01], RB (um Dau = (wh 我 们 用 
VEJES (D ) 来 表示 这 个 点 . 反之 ， 对 于 [0,1] 中 的 任 一 点 ， 都 存在 根 应 的 
由 0 与 1 es {znj} 使 得 

w = DTT En- (D). (1.1.1) 


imi o E D 这 间 的 端点 且 w 关 0 5 1 则 相应 于 o 的 序列 有 两 个 ， 这 时 我 们 约定 
(1.1.1) 取 末 尾 各 数字 恒 为 0 的 形式 ， 

(0.1.1) 称 为 w AUTERA. W (10.1),77, P) 为 所 考虑 的 概率 空间 ， 其 中 
Z 25 [0,1] 中 Lebesgue 可 测 集 的 全 体 ， 己 为 Lebesgue 测度 ， 则 (1.1.1) 的 位 标 序 列 
{zn} 就 是 服从 成 功 概率 为 以 即 参 数 为 p) 的 Bernouli 分 布 的 独立 随机 变量 序列 . 

i S,(e) 是 (1.1.1) 的 前 ma 个 位 标 中 数字 1 的 个 数 ， Dou, fl o É n 
Br D X, D 

Si(w) = zi 十 … m, 


P(D,,...,) = p? (1 — p)n- 9702, (1.1.2) 
Borel AMERITA 
P( lim. Snte) =p =1. (1.1.3) 


下 面 我 们 来 证 明 这 个 定律 . 为 此 先 引进 辅助 函数 , 设 0 <r <1, ket (1—r) : r 
逐次 分 割 区 间 [0,1], 得 到 另 一 种 n 阶 区 间 A... (yi = 0.1; = 1,2,... 我们 
BRETA n Br ARE. (1.1.2) 类 似 ， 每 个 ye [0.1] 可 表示 为 


y=0. Yn (A), (1.1.4) 
其 中 (y) = Ñ) Ausus B only) Ë (114) IE n HIT ICE LIH Anon 
是 包含 y 的 二 阶 A 区 间 ， 则 


In(y) = 351 +: + Pn: 
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P(Ay,.. J = r (1 — 7)n-0 02, (1.1.5) 
设 we [0,1], Br (1.1.1) #7. + 
frla) = 0.2429 tat (A). (1.1.6) 


An f. Bñ bk [01] 的 严格 增 斋 数 ， 欠 而 它 也 是 连续 的 ， 设 Dou 是 包含 
Kn Br D AR, Daer, F DT... 分 别 为 Dz,.…z,, BACH. € 


FAD an) — RODLG _ P(As,--z,) 
D,a, — Damn P(Da-ea) 


RUFI y= few) 时 ， anly) = Sa(w). 故 由 (1.1.2) 及 (1.1.5), 有 


põnlw)fj — pin Sni) r Sn (uw) l-r n—S,. (wu) 
talr w) = =|- (1.1.7) 
prt — p)n738(9) — Vp l-p 


WE f, 的 可 微 点 的 全 体 为 Ar), 则 由 Lebesgue 定理 有 P(A(r)) = 1. 根据 引 理 1.1.1, 
有 


t,lr, z) 一 


im inir e) = fl(ə) < oo, w € Alr). 
由 此 有 1 
lim sup - Ints (r.i) < 0, u € Afr). (1.1.8) 
H (1.1.7) 与 (1.1.8), 有 


. Sn(w), r(1—p) 1—p 
limsup — In — r) sh — w € A(r). (1.1.9) 


Hg p < r < 1, M| 


r(1— p) 1-p 


p(1- r) >t i-r 2l 
于 是 由 (1.1.9), 有 
Sa) cpl- pr A 
lim sup n € In r 2 fin Iry w € A(r). (1.1.10) 


Won € (p,1), re > plk > oo). $ À = A Alre), Wo o c À 时 对 一 切 天 由 
一 
(1.110), 有 


. Sn(w) 1-p rx(1 — p) 
—— < . .l. 
lim sup m mE /全 (1.1.11) 


1-p r(1—p)| _ 1-p / zx(1—-p)| _ 
dm E= = lim DET =p, (11.12) 
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H (1.1.10) 5 (1.1.12), 得 


Sale) cp, weA. (1.1.13) 
n 


lim sup 
+0 


设 M € (0,p), Ae — p, 4 B = A Ar). 同 理 可 证 ， 
k=1 


lim inf $292 


noo n 


>p, wEB. (1.1.14) 
4 C — A(B. & (1.1.13) 与 (1.1.14), 有 


Jim Sale) =p, wEC. (1.1.15) 
由 于 P(C)-1, Bi (1.1.15) 4n (1.1.3) 成 立 。 证 毕 . 
注 1.1.1 虽然 本 文 的 讨论 是 在 特殊 的 概率 空间 中 进行 的 , 但 这 并 不 影响 结果 
的 一 般 性 .这 是 因为 随机 变量 序列 的 任何 概率 性 质 都 可 以 通过 其 有 限 维 联合 分 布 
族 来 表达 (参见 Loéve 1965, 中 译本 p.185). 


81.2 广义 Cantor 展 式 及 其 概率 性 质 


本 节 引 进 了 广义 Cantor 展 式 的 概念 ， 并 讨论 其 概率 性 质 ， 所 得 结果 是 Renyi 
结果 的 推广 . 


设 
全 92 ttt 1n (Qn 之 2), (1.2.1) 
J: — ERY, 
paj, n21, 0S 3 Sq. —1 (1.2.2) 
是 一 二 重 数列 ， 且 满足 条 件 ， 
gn—1 
paj > 0, 3 paj =1. (1.2.3) 
j=0 


Do = [0, pio]; Di = [pio，Pao 十 pi 1 Da1 = [1 pg 1 1]. 


这 些 区 间 都 称 为 1 阶 DD 区间， 一 般 地 设 qqa… T n Er D PX aj (D.....,..0 < 
T4 < Qi 1,1 < i < n) 已 经 定义 ， 将 D... 按 诸 pa = 0,1,--- 1h41 一 1) 的 
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比例 分 成 dn+l ^r pi X fi] D.,...z zai (Tntl = 0, Le ;Gnti 一 1), 8 693 38 n+1 Br D 
区 间 . it P Xm Lebesgue 测度 ， 由 归纳 法 易 知 


P(Ds S.) = [ris (1.24) 
i-l 


4 d, B n Bp D TX R| f] o AIRE, BD 


d, = max(P(D,,..,,),0 < z; < — lle dn] 


设 d, — 0 (n oo). 易 知 对 于 满足 条 件 
0£z4, Sq a — 1, n=1,2,:.. (1.2.5) 


BEREK] {rn}(n 之 1), 区 间 套 Dz, 2 Di 2 D;,zszs 2e 有 惟一 的 公 
共 点 we [0,1], BB {w} = [1 Daen 用 Ozias mss (D) 来 表示 这 个 点 ， 反 
之 ， 对 于 [0.1] 中 的 任 一 点 w, 都 存在 满足 条 件 (1.2.5) 的 相应 的 正 整 数列 {zn}, 使 
得 

由 二 0.zlz2...7n (D). (1.2.6) 


如 果 wo 是 某 个 D 区 间 的 端点 且 o Z 0 与 1， 则 相应 于 w 的 序列 有 两 个 .为 确定 
起 见 ， 我 们 约定 (1.2.0) 取 末尾 各 数字 便 为 0 HER. 
(1.2.6) RA w 的 由 二 重 数列 (1.2.2) 产生 的 广义 Cantor BA, x, 称 为 其 第 
n 个 位 标 . X i 
Pu = yo n> 1, 0 < J < q, - 1, 
则 (1.2.6) 就 是 通常 的 Cantor 展 式 . 
ALFERRA, AA. t 


Taj 87], 0<j“<q.,-1 (1.2.7) 
是 满足 条 件 
gm 一 上 
Taj > 0, y Tnj = 1 (1.2.8) 
Z0 


i5 — — E 35), t (1.2.7) 中 各 元 素 的 比例 分 割 区 间 [0,1] 可 得 各 阶 A 区 
[Bl 
Az ezn (0 < Ti < i — 1,1 < i < TG, 7 之 1), 
H£ a 
P(As en) = [Irie (1.2.9) 
i=l 
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分 别 记 Dieu 与 Anon QE ARA DL Dh... AL uou 并 记 
i D 区 间 的 端点 的 集合 为 8， 在 人 名 上 定义 函数 如 下 : 


f(D ) = Az... À (Dhan) = Lo (1.2.10) 


x wc[01-Qm, 4 


flw) = sup (f(),t € Q n fo, el}. (1.2.11) 
这 样 就 将 f 开拓 到 [0.1] 上 ， 显 然 f OI 上 的 增 函数 ， 令 
talw) = rss w € Dn, (1.2.12) 


由 (1.24) 及 (1.2:9)—(1.2.12), 有 


Di s) 一 P2, 
to) = fí eni MDa ) 


= [~ w E Daren: (1.2.13) 
Dix, 


i=1 
设 入 >0 为 常数 ， 大 为 非 负 整数 . E (1.2.7) 中 的 roi 21,0 <j <q -1) 
WF: 当 q > k Hf, 令 


Apik 
1.2.14 
nie T+ (À — pi (1.2.14) 
{ 易 见 0< nik < 1), #9 
fu l Tik D< j <a, —1,j Z k; (1.2.15) 
i = T pa 一 ~ ut , | 1 -&- 
Hg < k h, + 
Tij =p, Ü< j < qi — 1. (1.2.16) 


当 ra 由 (1.2.14) 一 (1.2.16) 定义 时 ， 并 记 由 (1.2.10) 与 (1.2411) EX BJ PAL EON fx, 
改 记 (1.2.12) 中 的 talw) 为 tn(A,w). 

引 理 1.2.1 # w € [0,1], B BH (1.2.6) 表示 , Nn(k,w) Æ (1.2.6) 的 前 n 个 位 标 
2,,22,-: En 中 出 现 的 次 数 ， 则 


» 1 
t (Au) = AN Ge II TOI 


qi>k 


证 (1.2.13) 中 的 诸 因 子 有 以 下 儿 种 情况 ， 


(1.2.17) 
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1 3Xg»kz-kH, Bí(L214) 有 

Tiri __ Tik _ À . 

Pi Pie LÒ- lp (1.2.18) 
2) Zig»kz ZkHB, H (1.2.15) X (1.2.14), 有 


Tiz; _ 1 一 Í Tik 1 


Ba i-pa VEU Tp (1219) 
3 "iq < kh, H (12.16), 有 
5 cL (1.2.20) 


Piz; 
以 (1.2.18) 一 (1.2.20) 代入 (1.2.13), 即 得 (1.2.17). 
定理 1.2.1( 刘 文 , 杨 卫 国 1991) iw c [0,1) B H (1.2.6) 表示 ， Nalk w) 如 


前 定义 ， 著 
im Y^ pu =o, (121) 
noo 
q: T 
则 
lim 9052) 1 as, velo. (1.2.22) 
n— o Xm 
di T 


证 iE fx Bn] pt ELE 4k AQ, k) FOL EH SR q eR CSS EE EE REAL P(A(A,k)) = 
l. 根据 导数 的 性 质 ， 有 


im n t, (À, u) = fiw) < oo, u € A(À,k). (1.2.23) 


令 o, (k) = 》 pa. 则 由 (1.2.21), 有 
MNT 


Jim Tnk} = oo. (1.2.24) 


由 (1.2.17), (1.2.23) 与 (1.2.24), 有 


lim sup = | Ny (E, w)lIn À — >` In(1- (X — Upa) <0, c€ A(A.k). (1.2.25) 


iän 
q .>k 


He À > 1. 将 (1.2.35) 两 端 同 除 以 nx 得 


zB 


Bm sup 


o NDS Ih(1 + (À — Dp) f 
nsu m pen > — js w E At (1.2.26) 


qi >k 
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由 (1.2.26) 及 不 等 式 lnft1+zj<z (z > 从 ,有 


N.(k,u) - 3^ azp <0, u € A(X.k), 
in 


di»k 


lim su 1 
no In 有 


Bn 


Nalk,w) A-1 

limsup| — (k) — IA 
WA > (= 1,2,-..) f X — 1+ 0 — oo). 4 A*(k) = (Y, AQUA), 则 对 一 切 
i 由 (227), 有 


<0, ç € Alk). (1.2.27) 


. Na(k,wo) A;-1 . 
lim sup Ex 一 | <0, w € A'(K). (1.2.28) 


由 于 dim dioi = 1, 故 由 (1.2.28) 有 


lim sup [D - i] <0, o € A'(k). (1.2.29) 


当 0 < 入 <1 时 ， 特 (1225) AWEL In A, 得 
|y -F mita e] >0, wcAQ,K. (1230) 


lim. inf 
In 


zi 


gk 


由 (1.230) 及 不 等 式 In(1- z) < z(-1« z < 0) 并 注意 到 了 nA<0, 有 


。 7 Dee pa 
limint — D [m w) 一 L RA >0, w€ A(A,K), 
d. Tk 
Bü 
. N.(kw) A-1 
lim inf É (D 3 | 20, we A(X.K). (1.2.31) 


与 (1.229) 2&4, BZ O < x < lG = 1,2,---) f£ T; — 1 — 0( — oo), 并 令 A, (k) = 
Fe, Alrik) 则 由 (1.2.31), 有 


lim inf [A - 1| >0, o € AK). (1.2.32) 


4 A(k) = A*(k)f] A.(k), 则 由 (1.2.29) 与 (1.2.32), 有 
Nn (kK, w) 


n+ On (k) 


-1=0, we A(k). (1.2.33) 
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由 于 P(A(k)) = 1, 故 由 (1.2.33) 知 (1.2.22) 成 立 ， 证 毕 . 
在 上 述 定理 中 令 pnj = L(0€j < q+, — 1) 即 得 如 下 Renyi(1958) 中 的 结果 : 
推论 1.2.1 Hwe [0,1], 


zn(w) 
¿= ——, 0<r, <q a —1 
acl m02***0s 


是 其 Cantor 展 式 ， 为 非 负 整 数 ， 如 果 lim 37 = = oo, MI 


qik 


=1 as, w€ [0,1]. 


$1.3 Cantor 型 随机 变量 序列 的 一 个 强 极限 定理 的 证 明 


4 (qn 2 0) EJES, In = (0,1, gj {Xns7 > 0) 是 取 值 于 L, 的 
一 列 随 机 变量 ， 并 且 对 所 有 的 z; E FL,0 < í< n, WA P(X = t, X, = ru) 
0. 本文 目的 是 要 用 分 析 方 法 给 出 上 述 Cantor 型 随机 变量 序列 涉及 条 件 期 望 的 一 
个 强 极限 定理 的 一 种 证 明 [参见 刘 文 19943). 

定理 1.3.1 $ {gn,n > 0) 是 一 列 正 整 数 ， = {0,1, qa], Gon > 01 
TIMEA, X, 在 I, 中 取 值 ， 并 且 


P(Xo = zo, Xn = £n) = p(zo, Ln) 50, z €L, OSicn (13.1) 


如 果 
> a/n < co, (1.3.2) 
n-i 
那么 
Jim (1/n) [和 一 本 2 一 0 as.. (1.3.3) 
4 一 上 


证 我 们 取 (0. 1), F, P) 为 所 考虑 的 概率 空间 , 其 天 是 [0, 1) 区 间 上 的 Lebesgue 
可 测 集 的 全 体 ， P 是 Lebesgue 测度 ， 在 上 述 概 率 空 间 中 我 们 首先 给 出 一 列 具 有 
分 布 (1.3.1) 的 随机 变量 ， 把 [0,1) 分 割 成 go + 1 个 左 闭 右 开 区 间 ， 


Do = [0, p(0)), Dı = [p(0), p(0) + p(1)), rtta 
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这 些 区 间 都 叫 艇 0 阶 区 间 . 如 此 进行 下 去 ， 假设 (go 十 (gi 十 了)… (qa, + 1) 4 n Ër 
EB (Da..4,,,:2;,720,1,---,g, 0 < i c n] 已 经 被 定义 ， 把 左 耳 在 开 区 闻 Dass, 
按 比率 

Pleo 24,0) : p(zo, ,Ens 1) i4 E p(Zo t Enr gnt) 


分 割 成 n41 +1 个 左 闭 右 开 区 间 Din ama (n+ = 0, 1,.…: , qnt1); 这 和 样 就 得 到 
有 十 1 阶 区 间 . X n > 0, 定义 一 个 随机 变量 Xn : [0,1) 2 S 如 下 : 


Xa(u) = £4, w € Dae, (1.3.4) 
容易 得 到 
P(Xo =gh X, 一 Tn) = P(D........) = p(zo, "tt , £u), (1.3.5) 


故 [Xn 2 0) 具有 分 布 (3.1). 
令 A 为 所 有 阶 区 间 以 及 区 间 (0,1) 的 类 ， 9 是 Bore 可 测 函 数 . 记 


p(Zzalzo,zi, Utt ;Tn—1) 一 PX, 一 Tni Xo = Tü, ' ' " (Xn = Tn—1) 
E(g9(X,.)|#o, UU ;Tn—1) = E(g( X«)|Xo = fott Ap- 二 T4). 
假设 入 =1 或 -1. € 


Cnfzo0， "tt ,Tn—1} 


一 Eíexp[ (X, = E(X, |zo, ttt s £4-1))/n]lzo, Ut ,Tn-1} 


一 Y p(zs|zo. 21,7 -- 41) exp(AMza — E(X«|vo, : - , zo 1)]/n. (1.3.6) 


Zn 一 0 


在 4 上 定义 一 个 集合 函数 a: WI n > 1, 全 


P(D.....s.) I[9o0 — E(X;|zo, --- ,2i-1)]/1) 


u( Das...) = 元 , (1.3.7) 
II c (zo, ttt dj-1) 
并 令 
p(D.,) = X B(Dzos ); (1.3.8) 
zi=0 
u([o 1) = > aD) (1.3.9) 


zo =0D 
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Mn218, H (1.3.7), 可 得 


pF(Dzo...s» ) 
= B(Da,.u,, 1 p(n |o m1, "t ,Tn_1) exp(A[z5. 一 E(X4|to, ttt )29-4)]/n) 
cn(zo…… , 24-1) I 
(1.3.10) 
由 (1.3.6) 和 (1.3.10), 可 得 
qa 
Y P(D,,....) = HLDeo as) n 2 1. (1.3.11) 
rn=0 


由 (1.3.8), (1.3.9) 和 (1.3.11), 可 知 上 在 A 上 是 一 个 可 加 集 函 数 . 因此 存在 一 个 定 
Xd [0, 1) 上 的 递增 函数 fxs 使 得 对 于 任意 的 Dni 有 


B Das.) = ADI A) 7 fO au) (1.3.12) 
在 这 里 Die, 和 DL, 分 别 代表 Dao. 的 右 左 端点 ， 令 


HD ag-z ) A Tom ) fal mam ) 
Aw) = Borta) 一 IM gonta] JA mater meme (131 
tal , ) P( Degera) Di... Da... 了 wcD o n [ 3 3) 


FAA 是 fh 的 所 有 可 微 点 的 集合 ， 那 么 
Jim tn( 和 A,w) = 有限 数 ，w € AQ). (1.3.14) 
由 单调 函数 导数 存在 定理 可 知 P(A(A)) = 1. 由 (1.3.13), (1.3.7) 和 (1.3.4), 可 得 


[| exp{X[X: - £(XiXo.--- , X)/9 
t (A w) = we (1) (1.3.15) 


[EKo , Xi) 
ili 


注意 到 ; 
5 [£n 一 E(X4|Xo, tt |Xa-i)]p(zs|Xo, ttt ;Xn-1) 三 0, 


zQ4—0 
H (1.3.6) 和 和 不等式 0 < e* — 1— z < w?el*l, 有 
0 € on(Xo Xn) - 1 


- Dexp[O/n) sn — BE(Xnl Xo, Xn) -1- Qm — B(X, X Xa) 


max =Ü 


.12. WR 3E E YE 5) yt HE 


Xp(z«|.Xo, Utt X821) 


Qn 
< >` (1/n2)[z,. 一 E(X,|Xo, ttt Xy) exp[(1/n)|z; 一 E(X4|Xo, ttt , X, -1)|] 


ra =D 
xplzn| Xo , Xn-1) 
< (qan)? exp(qa /1). (1.3.16) 


由 (1.3.2) 知 gn/n — 0. 由 (13:2) 和 (13.16) 可 知 
[fono … ,Xn-1) 收敛， (1.3.17) 
由 (1.3.14),(1.3.15) 和 " 3.17), 可 得 


m, TTecoatx - B(X Xo /村 
i=1 


= lim exp(] [G/21X; — E(XilXo. --- Xi] 


i=1 


= 有限 数 ， w E 4(A). (1.3.18) 


$ À = A() n A(-1). 由 (1.3.18), 可 得 


SG; — E(X,| Xo, X. 4), SE, o € A. (1.3.19) 


z=1 


由 (1.3.19) 和 Kronecker 3| 38, £ 


Jim (1/n) Y Ix — E(X;Xo. ,Xi 1)] = 0, o € A. (1.3.20) 
t=1 
由 于 P(A) = 1, (1.3.3) 可 由 (1.3.20) 得 到 ， 定 理 证 毕 . 
令 qn 2 Xn = 1,2,-..). 众所周知 每 一 个 实数 w < (0,1) 可 以 表示 成 以 下 形 
式 : 


0-3; Xalo) , (1.3.21) 


其 中 第 7 个 位 标 Xau) 在 0.12... ,gn — 1 PRE. EAA (1.3.21) 称 为 Cantor 
EK. [除了 一 些 有 理 数 之 外 ， 这 种 分 解 式 是 惟一 的 . ) 
4 Xo = 0, w £ (0,1). 显然 有 


E(X.|Xo,--- Xa) = E(X.), n=1,2,... {1.3.22) 
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因此 可 得 出 下 面 的 推论 : 
推论 1.3.1 $ q, > 2(n = 1,2,…),Xn(w) Æ w € (0,1) Æ Cantor ÆA 
(1.3.21) 中 的 第 n 个 位 标 ， 如果 


Y q2/n? < oo as., (1.3.23) 
n=l 


那么 ' 
Jim (1/n) Y 'IXi- E(X] =0 a.s.. (1.3.24) 
i-1 
推论 1.3.1 就 是 随机 变量 序列 (X.,n > 1) 的 强大 数 定律 . 如 果 q. 是 常数 ， 
以 上 推论 可 由 众所周知 的 关于 正规 数 的 结论 推 得 (参见 Feller 1957, p.195—197). 
Renyi 研究 了 对 一 般 的 qa, Cantor EA, (1.3.21) 中 的 X1(w), Xa(o),--- 的 统计 性 质 
(参见 Reverz 1968, p.52). 
33 在 上 述 推论 中 (X4 > 1) 是 独立 随机 变量 ， 并 且 有 离散 一 致 分 
布 ， 其 方差 D(X,) = (g2 — 1)/12, 显然 条 件 (1.3.23) 等 同 于 Kolmogorov 强大 数 定 
律 中 的 条 件 { 见 Halmos 1974, p.204): 


二 D(X,.)/n2 < oo. (1.3.25) 


众所周知 ， 任 意 独立 随机 变量 序列 的 强大 数 定 律 对 方差 的 限制 (条件 1.3.25) 在 一 
般 情况 下 是 不 能 被 减弱 的 (参见 Halmos1974, p.204, 问题 (3)). 

注 1.3.2 上 述 推论 的 较 弱 的 逆 定 理 是 成 立 的 ,如 果 存 在 一 个 正 数 c, 使 得 gn/n < 
e, n=1,2,-... ,并 且 (1.3.24) 成 立 ， 那 么 


S/nte < oo (1.3.26) 


n=l 


对 每 一 个 < 都 成 立 (参见 Halmos 1974, p.205, 问题 (5)}. 


81.4 相依 二 值 随机 变量 序列 的 强 极限 定理 


本 节 给 出 在 无 独立 性 、 平 稳 性 ， 或 各 种 相依 假设 条 件 下 的 二 值 序列 的 强 极 四 
定理 ， 方 法 的 要 点 是 应 用 单调 函数 的 导数 存在 定理 来 研究 几乎 处 处 收敛. 

定理 1.4.1( 刘 自 宽 、 刘 文 1997) 设 (X,,n 2 1) 是 一 列 取 值 于 S= (0,1) 的 
随机 变量 ， 其 联合 分 布 为 


P(Xi = 81 X, = za) = pr1 , Za) > 0, z; € S, 1 < š < n, (1.4.1) 


-14.- 强 偏差 定理 与 分 析 方 六 


并 令 
Pun [£15 ni) = P(Xn = Enl Xi = mis Xa = 4-1), 
z; € S, 1 <.¿ < n, n > 2; (1.4.2) 
Lu 
D= {w: lim 2». s- Xk) = oo), (1.4.3) 
则 ç 
im —— — = 1 as. + D, (1.4.4) 
Y p (Xi: Xia) 
k=2 
此 处 S, — 5 Xr 


k=2 

证 本文 我 们 取 概 率 空 间 ([0, 1), F, P), 此 处 下 是 [0.1) 上 所 有 Lebesgue BJ lj 
集 的 全 体 , P 是 Lebesgue 测度 . 首先 给 出 在 此 空间 具有 分 布 (1.4.1) 的 随机 变量 序列 
的 一 种 实现 . 把 区 间 (0, 1) 分 割 成 两 个 左 闭 右 开 区 间 Do = [0, »(0)) f D; = [p(0), 1). 
这 些 区 间 称 为 一 阶 区 间 . 依次 类 推 , 假定 2 个 站 阶 区 间 (D... ri € S.1 < i <n) 
已 经 定义 ， 把 区 间 D. 按照 比例 pti m, 0) : pn n D 分 割 成 两 个 
左 阅 右 开 区 间 D. uu 和 Daen HEA n+l 阶 区 间 ， 易 见 ， 对 n> 1, 


P(Da rn) = p(zi,: En). (1.4.5) 
对 > 1, 定义 随机 变量 X,:[0,11 — S 如 下 : 
Xnlw) = Z4, w € Da... (1.4.6) 
(Xa (ur) Wi Xn). tH (14.5) 和 (14.6), 有 
P(Xi = mj, XS = z+) = P(D,,..,,) = p(zi,: iEn) 


因此 {Xn,n > 1) RA Arn (1.4.1). 现在 我 们 在 {Xn n > 1) 的 上 述 实现 的 基础 上 
来 证 其 定理 . 

设 4 表示 所 有 阶 区 间 的 集合 (包括 区 间 [0,1)), X> 0 是 一 常数 . 定义 A EE 
函数 以 如下: 34 n > 2, # 


an ( ) 
e u= 21," Tn 
(Dace) = S Pip rm O, (14.7) 


IIn + (e 一 Dps(1]o.-- ,Z&—1)] 


k=2 


B(Ds,) = k[D.,o) + (D; n); (1.4.8) 
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2([0, 1)) = p( Do) + u(D1). (1.4.9) 
3 n > 2, 注意 到 
p(z1 t Za) = p(zi s En-1)Pn{Tnl21, > 28-1), 
由 (1.4.7), 有 
exznpn{fzn|z1…… ,Ln_1) 


Dy = Deua ' 
u( n} = n 十 (e^ — Ups(1|zi,--- 24-1) 


并 且 
B(Ds, 5, 0) * B Ds, us ui) = B(Dz, n, i)- (1.4.10) 
(1.4.8)—(1.4.10) 表明 p up pfe. KEFE (0,1) 上 的 单 增 函 数 f 使 得 对 任 
一 区 间 Dus 有 
有 (站 ao) = PARS au) — fO au (1.4.11) 
此 处 Dio. Dian, 分 别 表示 Do. WEB. EmA 4 


B(DAL) fs sues) 

Di... 一 Dr. P(Dj...,.) 
i 4( 和 A) 是 fa 的 可 微 点 的 集合 ， 则 由 单调 少数 导数 存在 定理 得 P(AQ) = 1. W 
w € A(À) fü w € Dn = 1,2,---). 如 果 Jim P(D.,...x, ) = 0, 则 由 导数 的 性 
质 有 


talà, w) = w € Dzi ma, (1.4.12) 


Jim ta{A w) = FW) < oo; (1.4.13) 
如 果 lim Pud,,....) = d > 0, HI 
lim. tnl w) = d^! Jim. Bu( Ds, ..,) < 十 co. (1.4.14) 
由 (1.4.13) 和 (1.4.14), 有 
Jim £46) = 有 限 数 ， 8 A( 和 ), (1.4.15) 
H (14.3), (1.4.15), 有 


lim sup — In £, (A, w) 


"e M»nalx, Itt Xk-1) 


k=2 


«0, we AQ)n D. (14.16) 


“16. 强 偏差 定理 与 分 析 方 法 


tH (1.4.7) 5 (1.4.15), 有 
Int4(A,0) = AS, 一 Y uli + (è — 1)pa(1|Xi,- - - , X, -1)]. {1.4.17) 
k=2 


由 (1.4.16), (1.4.17), 有 
UT Y pz) 


》 [1 + (^ — Dok [Xis ,Xe 
&limsup 5-2 — ———————————————— —  , wc€A(9)nD. — (1418) 
" Y p üXi, Xa) 
=2 


由 (1.4.18) 和 不 等 式 In(1 + z) < z, z > —1, 得 
AS, 


limsup——  <e 1, we A(A)n D. (1.4.19) 
Y Pet Xi Xa) 


当 À > 0, 将 (1.4.19) 的 两 边 同 除 以 Ó, 得 


AS, àL 
lim sup ——— n < - ` ， 


UP NnülXs Xe) 
k-2 


w € A()n D. (1.4.20) 


Bi Ar > Ofk = 1,2,.…) 4849 Ar LOk — oo), 且 设 Aí = (ea Alr). 则 由 (1.4.20) 
有 
lim sup ————————— Kl, o A. nD. (1.4.21) 


Dr (1Xr, Xk.) 


3 À < 0, 将 (1.4.19) 的 两 边 同 除 以 入 得 


A 
liminf p > Š ^ l we AQO)nD. (1.4.22) 


2,» 1|Xi,::: , Xk-1) 


取 Te < Ofk = 1,2,...) fé 7, f O(34k > 00), H3 As = (eo, A(zk). HJH (1.4.22), 
有 


liminf — > weAnD. (1.4.23) 


Y sls, Xii) 
k=2 
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设 4= A) n Aa, 由 (1.4.21) 和 (1.4.23), 有 


lmsop— 9 -1 we AnD. 


UP Y pi Xea) 


由 于 P(A) = 1, 定理 证 毕 ， 


(1.4.24) 


" 推论 1.4.1 设 {Ann 21) 是 一 独立 随机 事件 序列 ， 且 P(Ak) = prk > 1 #ll 


Y pk = oo. 4 J4 = Y (A) EAE 1(:) 是 示 性 函数 ， 则 


k=1 k=1 


=1 as. 


推论 1.4.2 在 定理 1.4.1 的 假设 下 ， 丰 


{w: Yall X, 1) = 00) = (ur: Y `x, =00} as. 
k-2 


k=1 


iE 定理 1.4.1 Ho 


fw: map, ,Xx-1) = oo) € fw: Y x, = 00} as. 


k=2 k=1 


现在 我 们 证 明 反 面 的 包含 关系 . 设 


wo € ADN{w: Y DC Xi) < 00}. 
k-2 


则 由 (1.4.15), (1.4.12) 和 (14.7), 有 
i i ef- 
siia, n) = E, TEB 6 DoD, p, Xea) 


由 于 SETUP CREE (Xy) < eo, 故 有 


k=2 


T 


Jn, [[8 + (e — 1) )pe(1|X3, - ` '  Xk-1)) < eo. 


H (1.4.27) 和 (1.4.28), 有 


lim eS% < oo, 
nc 


= 有限 数 . 


(1.4.25) 


(1.4.26) 


(14.27) 


(1.4.28) 


(1.4.29) 


- 18 - 38 (8 25 38. 5 ri S 


即 
wo € fw: 5 Nu < oo). 


k=] 


代 此 


AA fw: Y pXi. X) «o0 € A) n (e: 37 Xr <o}. (14.30) 
k--2 k=1 


再 由 (14.26), 即 得 P(A(1)) = 1. üE&E. 
81.5 离散 随机 变量 多 元 函数 序列 的 若干 极限 性 质 


& S= {tot {Xn,n 2 0) 为 一 列 取 值 于 S 上 的 随机 变量 ， 其 联合 分 布 
为 


P(Xo = zo, ,Xn = En) = Palo m4) ES, 0<i<n. (1.5.1) 
不 失 一 般 性 我 们 不 妨 设 Pn(zo，… an) > 0. 令 
Profznjzo， ,rn-1) = P(Xn = z4|Xo = Zo. Xai = 421), n>1. (1.5.2) 
xÍ n > 0 令 galto Za) 为 定义 于 S"! 上 的 实 值 水 数 ，t 为 一 实数 ， 令 
Molt) = Eletso(Xo). 
对 之 1, 设 


My(t, zo, ... Th]1) = E ef? (Xo X Xo = 1,7 ,pl = Tk—1] 


= Y esse wrape(zklzo te). (15.3) 
r|€S 
Melt, £o 2821) WA gel Xos: Xr) 在 条 件 Xo = zo,… Xk- 二 zk-1 下 的 条 
ERAR, $ 


egi (to a p (remo, ,Ep 1) 


1.5.4 
My(t, zo, ° ` jZk-1) ) 


mk(t, Tosta zk) = 


则 由 (1.5.3), 有 
>` Meli, zo Zk) = 1. (1.5.5) 


TRES 
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本 节 的 目的 是 利用 条 件 矩 母 函数 和 测度 的 网 微分 法 给 出 关于 离散 随机 变量 多 
元 函数 序列 的 若干 强 极 限定 理 . 作为 主要 结果 (定理 1.5.1) 的 推论 得 到 了 关于 条 件 
概率 的 调和 平均 值 的 一 个 定理 ， 

定理 1.5.1( 刘 文 2003) $ {Xn n > 0) I (ga, > 1) 如 上 定义 , 且 设 {on,n > 
0) 为 一 列 定义 在 同一 空间 €) 上 的 随机 变量 ， 假 设 存在 一 正 实 数 a, 使 得 当 [t] < a 
时 ， 对 一 切 k > 1 和 zo- ,Zp-1 E S, Mk(t,zo,--- 2.1) 都 有 定义 ， 令 


B= ío: Jim on{w) = oo). (1.5.6) 


i Dla) 为 互 中 满足 下 列 条 件 的 点 的 集合 : 


T 


1 
li E 2(Xo,--- X, ege (Xo. ,Xun)| Xo, Xk- 
POP a.u) d. Pit oe Teen 


= M(w) < oo, (1.5.7) 
则 
Jim zG Y (gz (Xo, tt (XX) 一 El|gi (Xo, Ut. »X&)| Xo, ttt Xy] =0 
n k-i 
a.s. 于 D(a). (1.5.8) 
证 令 
Dc. fw: Xk = zmk,9 < k < n), zy € S. 
则 有 


P(D,,) = p(za); 


P(D.,.....) 一 Pn(£o, It sn) = g(zo) II»zo.- tt ; Th-1)s n > 1, (1.5.9) 
k—t 


Desce, VOS n 阶 基本 往 集 ， 其 全 体 为 NS. N = (0,0, ) u (URN), 并 设 
<a 在 上 定义 一 集 函 数 u WTF: 


p(o) = 0, AD) = 1, pel Dro) = pizo); (1.5.10) 
Hi (Da...) = DID su amat, Tott: En) 


LG: 
= po(zo) II Melt, Zo Zh) n2 1. (1.5.11) 
k—i 


.20. 强 伪 差 定理 与 分 析 方法 


由 (1.5.10), (1.5.11),(1.5.5) 可 知 uu 为 N 上 的 一 个 测度 ， 由 于 N 为 一 半 代 数 ， 故 
he 可 惟一 开拓 到 o- 代数 (N) E. + 


D 
T4(t,«) = > 2 d = ez za) 


Da. $ 
DCK, 五 万。 az) 0an 


其 中 Ip. RE D. yas PES 38, RI 


lD xolu). Xs o) 


Ts (tu) = 
(ba) P(Dx,()...X«(w)) 


(1.5.12) 


易 知 [Nn,n > 0} 为 一 个 网 . 由 网 微分 法 (参见 Hewitt 和 Stromberg 1994, p. 373) 
知 ， 存 在 At) € e(N), P(A(t) = 1, 使 得 


Jm Tatu) = 有限 数 ，w € Alt). (1.5.13) 


H (1.5.6) 和 (1.5.13), 我 们 有 


lim sup 元 m InTi(t,w) <0, we A(t)n B. 
注意 D(o) c B, 则 由 上 式 下 得 
lim sup InZ4(t,w) < 0, we A(t) Dla). (1.5.14) 


no» On(w) 


由 (1.5.4), (1.5.9), 和 (1.5.11), 可 得 


etgv (Xa, Xi) 


Taft.) = ILiz x;.— w 


, € Q. (1.5.15) 


由 (1.5.14) 和 (1.5.15), 得 


lim sup z- (w) 4 (g loo, “ (OX) - ln M(t, Xor tt , Xk-1)] < 0, 
w € A(t) n D(a). (1.5.16) 
利用 
limsup(a, — ba) < 0 = limsup(a,, — cn) < limsup(b, — c), 
noo noo "n—2o00 
令 


an = [1/on(w)] 3 gn( Ko, ,Xi)t, 
k=1 
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b, = [1/on{w)] ^m Met, Ko, ,Xi), 
k=1 


€x = [lf/on(w)] y` y> gel Xo, "t Xii YK)PR(Zx| Xo; ttt , Xk—1)t, 
k=1 xz, ES 


由 (1.5.18), (1.5.7) 和 不 等 式 Inz < z — 1 (z > 0), 0 < e° — 1 — z < 2-122elzl, 有 


limsup Co， ;XE)t 


nao e, (o usni 


一 x gl Xos +, Xavi zk)px(zx| Xo, , Xa-i)t] 
z € S 


< limsup Y lin M, (t, Xp, XR) 


m— Ün {w) Ecl 


一 D gk (Xo, :~ , Kk-1) 2k)pK(zk|Xo,:: s Xr- Jt} 


zQ,€5 
1 Len 
< lim sup 一 一 一 * [Mx(t, Xo," , Xii) 
T xb nu) 24 
-1- > gk(Xo, ,Kk i Zk)pk [zk |X0,: s Xr-1)t] 
TkES 
= lim sup zi X Pk(zk| Xos s Xi—1) 
nə Oni) LS aues 
x [ets Xo Xei) — 1 — gk [Xo, , Xe-i Za) 
e 
< — > im sup = — y Pelr Xot s Xk-1) 
no k=1 IRES 
x 92 (Xo, - - Xkn zy elt OG Xm 
2 
E AE m= {w A Da (Xo E X, els ro Ax, ... , Xk-1] 
< E MG), w E€ AÐA Dla), it| < a. (1.8.17) 


^0«tza. H (L517), 我 们 可 得 


lim sup zi Yo Xo; X) 7 Elgk( Xo: s Xi) Xo e a Xka} 
n k=1 


n— eo 


< ; MG), v € A(t} n D(a). (1.5.18) 


. 02 ， BREER HIE 


选择 te € (0al, k = 1,2,-… , fEf8 t, 一 OCH k — o0), 3 A" = (Y, Alte). H 
(1.5.18), 得 


fe , Xa) 一 Elgr( Xo Xi) Ko, Xii] 
<0, w€ A* n D(a). (1.5.19) 
£ —a <t < 0. rH (1.5.17), 得 


lim üsup- 


tim inf — ij 2 (to ,Xk) — Elga(Xo.- 7 Xk)|Xos 7 Xii]! 
k=1 
> 5M(w), w € A(t) ^ Dla). (1.5.20) 


选择 m € (—0,0], k = 1,2,-… , E 7, — 08 k — co), 并 令 A. = (04 AC). 由 
(1.5.20), 得 


mint — ale Xo X8) — Elgk(Xoi XA) Xo. Xil) > 0, 


w € A, n D(a). (1.5.21) 
4 A= A*n A,. Hi (1.5.19), (1.5.21), 得 


1 n 
lim EN) 3 Uno, > Xa) — Elge(Xor XK)|Xo, ,Xr-1]} =0, oe A. 
V k= 


(1.5.22) 
则 由 (1.5.22) 可 直接 得 到 (1.5.8). 定理 证 毕 . 
定理 1.5.2 ( 刘 文 2000cj É 3 =(1,2,... , N}, B 
ak = minípi(z,lz,- tt ,Tk-1), Tic S, 0 < i < k}, k > 1. (1.5.23) 
车 存在 À > 0, 使 得 | 
lim sup — ev — M « oo, (1.5.24) 


n—coo T = 


MARR (pe(Xx|Xo, a Xr hl < k < n) HAMP JU F kh PEE SEES INT, 
即 
im —— = as. (1.5.25) 


nn X Pr{ Xr] Xo. ,X4i) 71 


证 令 Gnl) = mn, B= $, gr(Zo,-:" ,Tk) 三 PhiTk|zo, ttt Ek 1) 1, Hz & € 
(0,3). 注意 到 
supfa; !e(*79/*?«, k > 11 = m < oo. (1.5.26) 
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由 (1.5.23) 和 (1.5.24), 可 得 


limsup 1 Y EIRO r Xp) e?9 Xo X Ko,... , X] 
71—& OO ni 


N 
: 1 = —1 Xo. X -1 
= limsup — Y 5 Ph(Zp| Xos , Xy 1) 0P arl Xi Xua) 
new N 
k=l z 一 1 


1 r 
< Nli -=y 一 ec/ au 
< msup — a, e 


7" 35 


k—1 
= N limsup 1 Y ratle(079/0 9/0. < N Mm. (1.5.27) 
no ny 


由 (1.6.27) 可 知 Dia) =Q. 注意 到 E[gk( Xo, ttt ;X&k)| Xo, Utt Xa] = N, 由 (1.5.8) 
可 得 (1.5.25). 证 毕 . 


81.6 任意 离散 信 源 的 一 个 极限 性 质 


信息 论 中 的 一 个 重要 问题 是 对 Shannon-McMillan 定理 的 研究 . 以往 的 研究 
大 都 对 信 源 作 了 平稳 性 或 遍历 性 假设 {参见 Algoet 与 Cover 1988, Barron 1985, 
Breiman 1957, Chung 1961, Kieffer 1973，McMillan 1953 及 Shannon 1948). 在 本 
节 中 我 们 避免 这 些 假 设 ， 用 分 析 方 法 给 出 了 关于 相对 粹 密度 和 随机 条 人 忻 炉 的 一 个 
强 极限 定理 ， 

W {Xn,n 21) 是 字母 集 为 5 = {1,2,… N) 的 任意 信 源 ， 其 联合 分 布 为 


P(Xi-m,- (XQ = z.) = P21 ,Tn) > 0. (1.6.1) 


^ 

Jalo) = -(/n) lag(Xi, ,Xn), (1.6.2) 
Ho RRRA, X, 是 Xlo) HIE, fao) 为 {Xi,1 < í < n) 的 相对 摘 密 度 . 
令 


Pa(ralzi. tt, ,Ta-1) = P(X, 一 wn|X1 = fi; An- = En-1) 7h > 2. (1.6.3) 


则 a 
p(z1, 7.22) = p21) [ [Peere 2): (1.6.4) 
Falo) = -(1/n)[Inp(X i) + V InpOG4 X, ,Xe-1)]. (1.6.5) 


k=2 


24 ， 强 偏 差 定 理 与 分 析 方 法 


本 文中 我 们 以 《10,1), 和 大, P) 为 所 考虑 的 概率 空间 ， 其 中 Z 是 区 间 [0,1) 上 的 
Lebesgue 可 测 集 的 全 体 ， P Æ Lebesgue WE. 我 们 首先 给 出 具有 分 布 (1.6.1) 的 
任意 信和 源 在 上 述 空间 的 一 种 实现 . 

将 区 间 [0,1) 分 成 N 个 左 闭 右 开 区 间 : 


D, = (0, 7(1)), D, = [p(1), p(1) *p2).-:.Dw- n — p(N), 1). 


这 些 区 间 都 称 为 1 阶 区 间 ， 继 续 这 种 做 法 ， 将 每 一 个 n 阶 区 间 D. uv 按 比例 
p(x pp) 分 成 让 个 左 闭 在 开 区 间 
Daesh Dereat a Daea Ni RARAGA n + 1 阶 区 间 ， XE n2 15851 


P(D,,.... ,) = p(zi, za). (1.6.6) 
kinl 定义 随机 变量 X, :|0.1) — S 如 下 : 
Xalo) = Zn £i wE Daez- (1.6.7) 


H (1.6.6) 与 (1.6.7), 知 {Xn n > 1) 具有 分 布 (1.6.1). 
我 们 将 利用 上 述 实 现 来 证 明 以 下 极限 定理 ， 
定义 1.6.1 XP k > 2, 令 


N 
hin, tt V1) 一 一 y pk(zk|2i, e. ,Ph1) ln peltre, tt Z1). (1.6.8) 


zk=1 
Hilw) 一 hk(Xi,- It | X&-1). (1.6.9) 


Hei{w) RAMA. 
定理 1.6.1( 刘 文 1999d) $ {Xn n > 1] 是 字母 集 为 S 的 任意 信 源 ， 其 联合 
分 布 为 (1.6.1), {an;n > 1) 是 一 单调 升 的 正 实数 列 ， 且 


oc 


Y (1/an)? < oo, (1.6.10) 


n=l 


fho) 与 Hile) 分 别 由 (1.6.2) 与 (1.6.9) 定义 ， 则 


Y (1/ax)lln pkl Xi: -> , Xi) + Hrlw)] < oo a.s., (1.6.11) 
k=2 
Jim (1/an) Mnss( Xi[Xs, s Xr-1) + Hele) = 0 as.. (1.6.12) 


k-2 
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证 Xk >2,) = B — 1, + 


N 
QuOs zi, mei) = 》 pk(zk|zi,- mii) exp{Ain pa(zelz s i) 


zy&—l 
Thy(zyiz1,--- ,z4—31)]/ai]- (1.6.13) 


4 A 为 所 有 阶 区 间 的 集合 ， 在 4 上 定义 集 和 函数 jp 如 下 ; + 


p(D,,) = pizi), (1.6.14) 
Xd x > 2, 4 
A(Dz x, ) 
Plz tu) exp(A Prolin ps(zelris -* imei) + han, ,Tl/an} 


IT. Qa (À; Tiy" Zk—1) 
(1.6.15) 


H (1.6.4) 和 (1.6.13) 一 (1.6.15) 易 知 & 是 4 上 的 可 加 函数 ， 因 此 存在 一 个 定义 在 
[0, 1) 土 增 函 数 fx, 使 得 对 任何 区 间 Deu 有 


BlDa, en) = fM( DZ...) — PA (D...) (1.6.16) 
其 中 Die, B Doi. 分 别 是 Deoa, 左右 端点 ， 令 


D+ _ _ 
t. (À, w) = PUn md nic 


— HDa m) 
Paad 


设 A( 和 ) 为 fx 的 可 微 点 集 ， 刚 由 单调 函数 导数 存在 定理 ， 有 P(A( 和 A)) = 1. $ 
w € AQ), Bw € Dae (n —1,2,---). 由 (1.617), 得 


, € Da, (1.6.17) 


Jim t,(,) = 有 限 数 ，w € AQ). (1.6.18) 


由 (1.6.17), (1.6.14), (1.6.6) 和 (1.6.7), 有 


— B(Dx,...x,.) 
ts(A w} = P(Dx, x.) 


= xb usn pi XD, Xi) + hrX1s i Xaaa) (1 6.19) 
Ilk- Qel; Xi, Xu) . (1.6. 
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为 简单 起 见 , 分 别 记 px(Zx|21,-… 081) E (21, Ek) 为 Px fU hx. EH (1.6.8), 
有 


N 
Y pi(Inpy + hx) = 0. [1.6.20) 


r,-—1 


由 (1.6.13), (1.6.20), 不 等 式 0 < e” 一 1 — z < z2el=] RARER hs < ln N, 有 


0 < QCM; L1) ,Pk-1)—1 


N 
= J pi{exp[Allnpr + hx)/ax] - 1 — Aln pr + hn)/ax} 


mk =1 


N 
< (Max? V prnpr + he)? exp[(— In pk + In N)/as]. (1.6.21) 
由 于 ak — oc( 当 k 2 oc), 故 存 在 一 个 正 整 数 m 使 得 当 上 > m 时 ay > 2. 因此 当 
k > m 时 ， 由 (1621 和 炳 不 等 式 ， 有 


0 < Qk(À;71,: n ,Tk-1) — 1 


mr 
< N(l/ax)° X pL (In py + hi)? 


zl 


x 
< Nau Y ` [pi Inpx)* - 20n Nypi npr + (In NY. — (1.6.22) 


zk 二 1 


M; = max(z1/2(|nz)2, 0 < z < 1), 
M2 = max(-z!7Inz, 0 < z < 1). 
H (1.6.22) 和 (1.6.10), 得 


Y IQxO; XI... Xa) - 1| 


k—m 


« Y (N/a Y (M, + 2 Ms In N + (In N)P) < oo. (1.6.23) 


k=m 


由 无 穷 乘积 的 收 伍 定 理 ， 由 (1.6.23), 得 


J| O: X... x4) ee (1.6.24) 


k=2 
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由 (1.6.18), (1.6.19) 和 (1.6.20), 得 


Jim exp(À nsi XX, Xi) hk, /ok = 有限 数 as.. 
° (1.6.25) 


令 和 分别 等 于 1 和 一 1, # 


im expo in ps Or n ea Xa) T AX, Xil/exs) = 883 as. 


(1.6.26) 
Jim. exp{— 5 [npa(X;|Xi,; Xrm) + ECXL Xi)]/ax) = 有 限 数 as.. 
=? (1.6.27) 


由 (1.6.26) 和 (1.6.27), 得 
Yllin aXX Xca) thal Xn Xka} Meg ase (16.28) 
k=2 


Bp (1.6.11) RIZ. EH Kronecker 引 理 ， 由 (1.6.28), 得 (1.6.12). 定理 得 证 . 
推论 1.6.1 4 faw) 如 (1.6.5) 所 定义 ， 则 在 定理 1.6.1 的 假设 下 ， 有 


im (fn) — (1/n) Y Hw) = 0 as.. = (16.29) 
k=1 


证 $ a, = n. 则 由 (1.6.12) 9 (1.6.5), 知 {1.6.29) 成 立 . 
推论 1.6.2 4p» 1/2 为 一 常数 ， 则 在 定理 1.6.1 假设 下 ， 有 


lim n^ 1" (Ing)? S Inp.(X4[X1,--- Xe) + Helw)] 2 0 as. (16.30) 
° k=2 


证 MF) alnn)? < oo, 故 推论 1.6.2 由 定理 1.6.1 立即 得 到 . 


n2 


推论 1.6.8 设 {Xn,n > 1} 是 一 列 非 齐 次 马 氏 链 ， 其 初始 分 布 和 转移 矩阵 分 
别 为 

PUB ,pIN), pli) > 0, z€ 9; (1.6.31) 

Pr —(ps(i3). pnlij) >0, 4j€S, n21, (1.6.32) 

其 中 palid) = P(X, = j|Xn- = D, {ann > 1) 是 一 列 使 (1.6.10) 单调 增加 的 正 
数列 ， H(p,- Pan) R 4) fi (pu, Da) n. 则 

lim (1/an) Y {In pi(Xs-i, Xk) + H [px (Xs—1,1), "tt PR(X&-1, N)]) 一 0 as.. 
k=1 


(1.6.33) 
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证 出 马 拱 性 质 ，(1.6.33) 由 (1.6.12) 立即 可 得 . 
推论 1.6.4 令 p>1/2 为 一 常数 ， 则 在 推论 1.6.3 的 假设 下 ， 有 


Jim (fato) — (t/n) Y HpkQG us 1) sp X N)]} =0 as, (1.34) 
kzi 


其 中 


falu) = —(1/n)[lnp(Xo) + > 1n pe(Xx-1, X] (1.6.35) 
k=1 
RU GERD EXER S Fe. 
i£ 4 a, =n. (1.6.34) 可 由 (1.6.33) 和 (1.6.5) 直接 得 到 ， 
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非 齐 次 马尔 可 夫 链 的 强 极限 定理 曾 被 一 些 作 者 研究 过 (例如 参见 Rosenbatt- 
Roth 1963,1964, 朱 成 喜 等 1988, 陈 永 义 等 1996). 本 章 提出 一 种 与 传统 方法 不 同 的 
分 析 方法 一 一 区 间 前 分 法 来 研究 这 一 课题 ， 其 要 点 是 在 区 间 [0.1) 中 给 出 马 氏 链 
的 一 种 实现 ， 并 定义 适当 的 单调 函数 ， 然 后 应 用 单调 苞 数 导数 存在 定理 来 证 明 有 
关 极 限 几 乎 处 处 存在 (这 种 方法 竟 锥 形 见 刘 文 1978). 


$2.1 非 齐 次 马尔 可 夫 链 随机 转移 概率 
儿 何 平均 的 若干 强 极限 定理 


本 节 中 我 们 将 给 出 有 限 非 齐 次 马 式 链 随机 转移 概率 几何 平均 的 两 个 用 不 等 式 
表示 的 强 极 限定 理 ， 在 证 明 中 使 用 了 作者 提出 的 分 析 方 法 一 一 KARE- 
定理 2.1.1( 刘 文 1994c) Wk {Xn,n > 0) 为 一 马 氏 链 ， 其 状态 空间 为 9 = 
位 ,2,… m), 初 分 布 为 
q(1,a(2).--: ,g(m), (2.1.1) 
转移 矩阵 为 
Pa = (p. Gi,j)), LIES, =12…， (2.1.2) 
此 处 pa (š, 7) = P(X 三 j|X. 一 1 二 š), 则 


f unir] px(za.3,zx)] > 1/m a.s.. (2.1.3) 
—1 - 


EH n oo 时 ， 随 机 转移 概率 fpkf Xi Xx) 1E k < n) 几何 平均 的 下 极限 几乎 
处 处 不 小 于 1/m. | 
证 Ex ([0,1),.7, P) 为 所 考虑 的 概率 空间 ， 此 处 Z 为 区 间 [0, 1) 中 的 Lebesgue 
集 的 全 体 ， P 为 Lebesgue 测度 ， 首 先 我 们 给 出 初始 分 布 为 (2.1.1), HEERA 
(2.1.2) 的 马 氏 链 在 此 概率 空间 中 的 实现 . 
令 
qini) 1—1,2,3,.-- 


为 (211) 中 大 于 0 的 项 ， 此 处 ， 1m < n < ms.…. 按 比例 


g(ni) : afna): 
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将 区 间 [0, 1) 分 成 有 限 个 左 闭 右 开 区 间 万 oufzo = n1 n2,---), Bf 
Da = [0, q(n1)), Dr = [0, q(n4), q(ni) 十 g(n2)), ttt 


我 们 称 之 为 0 HER. 一 般 地 ， 假设 n KEA Dons 已 经 定义 ， P,+1 中 第 Yun 
行 中 大 于 0 的 项 为 


Pathani m), 1=1,2,3,:.:, 1E mp & ma < mas. (2.1.4) 
按 比 例 
DaAHifzn m) : DoHI(Zas ma) : pa+1 [Za ma) it, 
将 De-a 划分 成 有 限 个 左 闭 右 开 区 间 
TD), amaya (za+1 = Mi, i= 1,2, 3, ) 


这 样 得 到 n 十 1 阶 区 间 ， 由 以 上 构造 法 可 知 
P(D.,...=,,) = g(zo) II Py(z&—1, Tk). (2.1.5) 
k=1 
对 n 2 0, 定义 随机 变量 Xn : (p. 1) A48 如 下 : 


Xala) = z, w € Da, (2.1.6) 


由 (2.1.4) 和 (2.1.5), 有 
P(Xo = ro ,Xn = Tn) = P(D,,..=,) = q(zo) [I pr (zw, za). (2.1.7) 
kA 


因此 {Xn,n > 0) 为 具有 初 分 布 为 (2.1.1) 转移 阵 为 (2.1.2) 的 马 氏 链 . 

为 证 明定 理 ， 我 们 先 构 造 一 个 辅助 通 数 . 

设 4 为 10.1) 和 所 有 阶 区 间 的 类 . No 为 初 分 布 (2.1.1) 中 大 于 0 的 项 的 个 
Jo N,(t)(n > 1) 为 转移 阵 Pa 第 t 行 中 大 于 0 的 项 的 个 数 . 在 4 上 定义 一 个 集 
E p WT: W DSL n, $ 


B( Das...) = R /N (za -i)|u(D;...  ._.) n > 1; (2.1.8) 


B(Ds,) = 1/No; n([0,1)) — 1. (2.1.9) 


A58 uA 上 的 可 加 集 函 数 . 因此 存在 一 个 定义 在 (0,1) FA Son Bc 了 使 得 对 
任意 的 Do.…z。, A 


全 站 cz = (Dhan) ~ f(DZ.... P. (2.1.10) 
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此 处 Dza, 和 Dk... 分 别 表示 De。 的 左 端 点 和 右 端点 ， 令 


_ f(D+....,. ) 7 f(Ds,..,.) — Bn Das.) 
ae) = C DE. Daas P(D,,-=.) 


设 和 4 为 f 可 微 点 的 集合 , 则 由 单调 薄 数 导数 存在 定理 知 P(A) = 1. W u € Á, o € 
D. (n = 0,1,2,1). Æ lima yo P(D,,....,) = d > 0, 则 


, w € Dass, (2.1.11) 


Jim talw) = Jm B(Da,..u, )/d < +00; (2.1.12) 


E lim, P(Ds.2,) = 0, 则 由 导数 的 性 质 (参见 Billingsley 1986, p.423) 和 
(2.1.11), 有 


Jim tn(w) = flw) < oo. (2.1.13) 
由 (2.1.12) 和 (2.1.13), 得 
lim sup(ts(u)] ^" <1, w€A. (2.1.14) 
H (2.1.6)—(2.1.11), 我 们 有 
talw) = Hoia (l e {0, 1). (2.1.15) 


q( Xo) [li P&(Xx—i; Xk) 


H (2.1.14) 和 (2.1.15), 得 


limint[T Ny (XE) pe (Xp 1 Xa)] 21 as. (2.1.16) 
k=1 


由 于 N.(X, a) € m, (2.1.3) 可 由 (2.1.16) 得 到 .定理 证 毕 . 
定理 2.1.2( 刘 文 1994c) 设 {Xn n > 0,} 为 一 马 氏 链 ， 其 状态 空间 为 S = 
{1,2,… m, 初 分 布 为 


(a(1),0(2),--- q(m)), q()»0, ics, (2.1.17) 


转移 矩阵 为 
(pn (z, 3)), Ps (53) > 0. ij € 5, n = 1, 2 4 (2.1.18) 
4 ¿€ $, S, (i, w) 为 Xolw), Xilw), , X, (e) 中 i 的 个 数 ， 即 
S, (iu) = 》 Go), (2.1.19) 
k=0 


此 处 页 () 为 Kronecker 函数 . 


-32 . 强 偏差 定理 与 分 析 方 法 


(1) 车 存在 一 个 常量 + 6 1/m,1) 使 得 


limsup[]] pr (X—1, Xe)" <r a.s., (2.1.20) 
noo k=1 
则 
limsup(1/n)S,(i,u2) < p as.. (2.1.21) 
此 处 p 为 方程 
YU- Aym- =r (2.1.22) 
的 惟一 解 ， 


(2) 若 存在 一 个 常量 ” € [1/m, 1/(m — 1)) 使 得 (2.1.20) 成 立 ， 则 
lim inf(1/n) Sn (5, w) > q as. (2.1.23) 


此 处 q 为 {2.1.22) 在 区 间 (0, 1/m] 中 的 惟一 解 . 
证 $i€5,A€(0,1) 为 一 常量 , 在 .4 上 定义 一 个 集 耳 数 p 如 下 对 于 任意 
的 区 间 Dass, 


p{ Dau, ) = AŻ tso AXA — X)/(m — 1) 28-7901, (2.1.24) 
且 m 
A([0,1)) = 32” n(D..). (2.1.25) 
mo=1 


ln 为 À tieu InSERTR, ALFE- ELE [01 上 的 增 函 数 f, 使 得 对 任意 
的 Dasan 有 | 
AUT.) = fx (Dx>.....) = n(D;,...z,,)- (2.1.26) 


令 
f, (Dz. žo- zn) 7 f(Da .a ) 


ža--zn 7 Danza 


talw) = , w E Dau, (2.1.27) 
令 4(A) 为 fx 可 微 点 的 全 体 ， 类 似 于 (2.1.14) 的 证 明 ， 可 得 

lim: sup(ta(w)]!/" <1, u € A(). (2.1.28) 
H (2.1.6), (2.1.7), (2.1.19), (2.1.24) 和 (2.1.27), 有 


加 (和 w) = [sea ( L5 LA yes. Mta Us) TE ps Qa- 1X4)j. (2.1.29) 
k=1 
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* n 
D= (w: lim sup([ | Xr- X)" <r}. (2.1.30) 
则 (2.1.20) 蕴含 P(D) = 1. H (2129) 2130) 有 
lim sup AS» G«/^[(1 — X)/(m — 1) 79697 «x. we AQ)n D. (2.1.31) 
Bp 
lim sup(A(m -1Jü -AXj9 6 «rm—-1)/(1—23). weA()nD. (23.32) 
(1) $ 1/m < À < 1. H (2.1.32), 有 


Am 


timsup(1/n)S, (iz) < [n rm Din m mD, wE AJAD. (2.33) 


令 


40) = n nl. (2.1.34) 
由 #'(À) = 
X1 - X)/(m - 07 = r. (2.1.35) 
4 
g(4) = 3X — X)/(m - 1). (2.1.36) 


易 知 g(4) 在 1/m,1) E, B. 


g(1/m) = 1/m, lim 9(N) =1. 


因此 当 1/m < r < 1 Pf (2.1.35) #EX fs] (1/m, 1) EA RR. wA p. A pA) 在 
À = p 处 达到 它 在 区 间 (1/m,1) Et] MB. HB. 
é(p) = p. (2.1.37) 
在 (2.1.33) 中 令 A = p, 利用 (2.1.37), 有 
lim sup(1/n)S, (iw) < p, w € A(p) n D. (2.1.38) 


很 明显 ， 当 r = l/m 时 ， l/m 2) (2.1.35) 在 区 间 [1/m,1) 上 的 惟一 解 ， 选择 
M € (1/m, 1), k—1,2,--- ,使 得 Àk > l/m(24 k — oc), y 


4; = () AQ). 


k=1 
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则 对 于 任意 的 之 1, 我们 有 


limsup(1/n)S«(2,w) < Alr), w € Ain D. (2.1.39) 
由 于 
lim. 40) = 1/m, (2.1.40) 
则 由 (2.1.39), 有 
limsup(1/n)S4(i,w) < 1/m, o £ Ay n D. (2.1.41) 


由 于 P(A(pg)n D) = P(A,n D) = 1, 故 由 (2.1.38)] 和 (2.1.41), 可 得 (2.1.12). 
(2) 0 < À < 1/m. 由 É 有 

Xm - 1) 

—AÀ 3 

W 60,90) 分 别 由 (2.1.34) 和 (2.1.36) EX. BA g(À) 在 (0,1/m] LHH, H. 

lim, or gà) = 1/m. HIE 1/m < r < 1/(m —1) Bj, (2.1.35) 在 区 间 (0,1/m) 上 

有 惟一 解 ， 记 为 q. 易 知 $( 和 ) TE À = q 处 达到 它 在 区 间 (0,1/m) 上 的 最 大 值 ， 且 有 


liminf(1/n)S, (i w) > n 1 -Dijin w € ANOD. (2.1.42) 


$(q) = q. (2.1.43) 
在 (2.1.42) ch à = q, 利用 (2.1.43), 有 
lim inf(1/n)5, li, w) 2g, G€ A(q) rn D. (2.1.44) 


很 明显 ， 当 r = l/m 时 ， 1jm 为 (2.1.35) 在 区 间 (0,1/m) 上 的 惟一 解 ， 选择 
Tk € (0, 1/7), k=1,2,-.-., 使 得 Tk —> 1/m(k — eo), Jf 


Az = n A(ry). 


k-—1 
类 似 于 【2.1.41) 的 证 明 可 以 证 得 ， 当 = 1jm 时 ， 


liminf{1/n) Sn i, w) 2 1/m, v€ As n D. (2.1.45) 


H (2.1.44) 和 (2.1.45), 可 得 (2.1.23). 证 毕 . 
推论 2.1.1 在 定理 2.1.2 的 条 件 下 ， 并 将 (2.1.20) 换 为 


lim sup(1/n) $5 pef (Xia, Xk) < r A8., (2.1.46) 
k=1 
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Jj (2.1.21) 和 (2.1.23) 成 立 . 
由 算术 几何 平均 不 等 式 可 知 ， (2.1.46) #8 (2.1.20). 
推论 2.1.2 在 定理 2.1.2 或 推论 2.1.1 的 假设 下 ， 如 果 zr = 1/m, 则 


im (1/n)S, (o) = 1/m as. (2.1.47) 


82.2 关于 可 列 非 齐 次 马尔 可 夫 链 相对 频率 的 两 个 不 等 式 


本 节 的 目的 是 要 给 出 非 齐 次 马 氏 链 状态 序 偶 的 两 个 用 不 等 式 表 示 的 强 极 限定 
理 . 
& {Xn n > 人 0 是 以 5S= {1,2,.…]} 为 状态 空间 的 马尔 可 夫 链 ， 其 初始 分 布 和 
转移 概率 分 别 为 
a(1), a(2),--- ,qn), (2.2.1) 
Pa = (p.a(i,j)), n20,1,2,:.., (2.2.2) 


其 中 Pali, j) = P(Xn+i 三 jlXa = 1). 令 k,; € S, Sn(k,w) 是 序列 Xo. X1, Us ,Xn-1 
中 k 出 现 的 次 数 ， Salk, jw) T PF (8 T (Xo, X1) (X1, X2). - {X -1 Xn) 中 序 
Œ (k.3) 出 更 的 次 数 ， 即 


Salk, w) = Ya óx(X,,), (2.2.3) 
Sal (k, j, w) = Y 8x Xm); Xni) (2.2.4) 
fm 


其 中 5C) & S 上 的 Kronecker 6 函数 . 
定理 2.2.1(X] X 1996b) it {Xun > 0) 是 具有 初 分 布 (2.2.1) 和 转移 矩阵 
(2.2.2) HEBRE, Seu) 与 S.(k,j,u) 分 别 由 (2.2.3) 和 (2.2.4) EX. $ 


D(k) = iw: Jim Sa (k,u) = oot, (2.2.5) 
则 u 
lim sup 2505152 < limsup pa(5, j) as. T D(k) (2.2.6) 
liminf 58029) > iminf pa (kj) as 于 D(k) (2.2.7) 
noo S ) 二 jJ 7 . UT 


WE 在 本 节 中 以 (0,1), Z, P) 为 所 考虑 的 概率 空间 ， 其 中 下 是 (0,1) 区 间 中 的 
Lebesgue 可 测 集 的 全 体 ， P 是 Lebesgue 测度 .首先 给 出 具有 分 布 (2.2.1) 和 转移 
矩阵 (2.2.2) 的 马 氏 链 在 上 述 概率 空间 的 一 种 实现 . 
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设 (2.2.1) 中 的 非 零 元 素 依次 为 
fray t=1,2,3 e, 


HP 1< ni «nins <.. 3 |0,1) ££ g(r1) :glnz):… 的 比例 分 成 可 列 (包括 
有 限 ) 个 左 闭 右 开 区 间 Dz (Zo 一 nonar) 并 依次 记 之 为 


Dn, = [0, gr), Da, = [ga qa, Ham) 4 


这 些 区 闻 都 称 为 0 阶 DERA. Hmh, Hnit DEE Diu, 已 经 定义 ， 且 P, 
中 第 wn 行 的 非 堆 元 素 恢 次 为 


Pa(ta, mi), (i= 1,2,3,...),1 < mi < ma < ma €n. (2.2.8) 
f (2.2.8) 中 各 元 素 的 比例 将 D。 <， 分 成 可 列 个 左 闭 右 开 的 区 间 ， 并 依次 记 之 为 
Ds aaa (5441 = 0$, i= 1,2,8,-.., 
这 样 就 得 到 n+1 阶 区间; 如 此 继续 下 去 就 可 得 出 一 切 阶 D 区 间 、 根 据 以 上 的 
构造 显然 有 


n—l 


P(D.,..=.) = qao |F 9(20 2m41). (2.2.9) 
m=0 
定义 随机 变量 Xn: [0, 1) 85 如 下 : 
Xa(w) = En, Bw € Ds. (2.2.10) 
由 (2.2.9) 与 (2.2.10), 有 
n—l 
P(Xo = zop ,Kn = ra) = P(Dz,..2,.) = dz, II Pr( £m; £m41). (2.2.11) 
m=0 


故 {Xn n2 0) 构成 一 马 氏 链 ， 其 初始 分 布 与 转移 矩阵 分 别 为 (2.2.1) 和 (2.2.2). 
为 了 证 明 此 定理 首先 构造 一 辅助 函 教 . 
记 区 间 [0, 1) 和 所 有 各 阶 区 间 的 集合 为 .4, 设 入 >0 为 一 常数 , 在 4 上 定义 一 
fg ECT. W Doo.…z 是 一 阶 区 间 . 4 z > 1, 令 


3 


n—l Bu (xm) 
^—1 1 
D...) = P(Da,.., JAE mo Smet) comi] 
IDs. s) = P(Deo an) Il [GT 
(2.2.12) 


B 
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B( Da.) = Y n(D.,., h (2.2.13) 
p([0, 1) = 3 (Dro), (2.2.14) 


其 中 Y, 家 示 取 遍 所 有 zn 的 值 的 和 . 
iË n > 2. 由 (2.2.12) 和 (2.2.9), 有 


(Droen) = 有 (Dr _1 )ea 1 (24—.1, 25) A9 87-265 (zx) 


1 Ók(Za—1) 22.15 
[rro 363 Q2u8 

4 325 E Ta—1 = k fi Zn-1 ra k, H (2.2.15), 有 
Y u( Dass) = (Den, i )- (2.2.16) 


Tu 


由 (2.2.13), (2.2.14) 和 (2.2.16), 知 p E A 土 的 可 加 集 函 数 . 因此 存在 一 个 [0,1] 上 
BHAR f, 使 得 对 任意 Diu 有 


BUD, ) = SA Dhan) — IMD Iyen) (2.2.17) 
其 中 Dg o. WD DLSI 分 别 表示 Dow HE. ARA v 


(Din) - fA s) 
dez, 一 五 机 
B( Das...) 
 P(D.,.....) 
记 AO, E, 7) 为 及 inp k Sm, MR WE COE TEGERE. P(A(X E) = 
L. we Ak jh B o € Dj (n = 0,1,2,2) 如 果 imis P(D;,...z,) = 
d > 0, IIJ 


talà w) = 


, w € Dau. (2.2.18) 


Jim t4(A,w) = lim (Ds, )/d < oo; (2.2.19) 
如 果 lima os P(Dzo.…z,) = 0, 则 根据 导数 的 性 质 ， 有 
Jim. talà w) = fi(u) € 十 oo. (2.2.20) 
Hi (2.2.19), (2.2.20) 和 (2.2.5), 有 


lim sup[1/S, (k, w) Int, (Aw) € 0, w € A(, k, 3) n D(k). (2.2.21) 
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& w € [0,1). SUR w € Dus, (n > 0), DIE X, (e) = za. 由 (2.2.18) 和 (2.2.19), 
有 


1 Gr (Xm) 
| (2.2.22) 


esu) = A H Ferae] 
4 c ERIEN, b= imsup, ,wo Paik, j) 则 存在 一 个 正 整数 N 使 得 
piki j) S b+ e, m > N. (2.2.23) 
4 À > 1, H (2.2.22), (2.2.23) 和 (2.2.3), 有 


dio) N-i 1 os (Xa) 
tn{ Mw) > Anean in ul 
( Il 工 十 (À = l)pa(k, j) 


< Tl [re 


m-N 


ki X m) 


= ASn(k, jw) [esr 
1+(À-— Db e) 
N-1 


14 (A - 1)(b4 e) 1007 
<H |: FAT eum] 


| Sa (ku) 


m--o 


1 Su (ku) 
> AS (kj) | J 
> 130-1646 


其 中 A= min(1,[(1- (À — 1)(b + )/(1-- (À - 1)]F). H (2.2.21) 58 (2.2.24), 有 


A, (2.2.24) 


lim sup [$69 In À - nft (4 — (b + ol} <0, 
w € AÌA, k, j,} N D(E). (2.2.25) 
由 (22.25), 有 
Salk jw) Inl (A D+ 
lim sup < PE +O C Dots w € AQ, k j)nD(k) — (2.226) 


在 (2.226) 4 e 2 0, WE 
Salk jw) _ Infl + (À ~ 15] 
DSP eu) ^ — RÀ 
Ha Ai > 1, i= 1,2, 3 hh Ai 51 (3 i oo), $ A*(k,3) =í, A(MN.kR, j). W 
对 所 有 121. 出 (22.27), 得 


Se _ In[ + (A DB] 
RT e — ` T A 
meup o (Eu) 5 nN 


; € € Alà, k, j) n D(k). (2.2.27) 


, w€ A'(k,j) n D(k). (2.2.28) 
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RT Infi 1)b 
Init + (A: — DB) ze l a ( 当 i— eo), 
由 (2.2.28), 得 
lim sup < <b, we A'(k,j) n D(k). (2.2.29) 


由 于 PCA* (e, p) = 1, 由 (2.2.29) 得 (2.2.6) 成 立 . 
取 0< 五 二 1 7=12  f# z —51 (34 i> co), 令 


(k, j) = (^ Almak, j) a= lim inf pn (k, j 


¿=l 
与 (2.2.29) 类 似 ， 易 得 
E >a, o € A (kj) D(k). (2.2.30) 
由 于 P(A. (5 5) = 1, 由 (22:30), 得 (2.2.7) 成 立 ， 证 毕 . 
注 2.2.1 由 于 随机 变量 的 任意 族 (Xt e TY 的 概率 性 质 可 由 它 的 有 限 维 子 
族 的 分 布 来 表示 ， 不 失 一 般 性 ， 我 们 可 用 {Xunn > 1} 的 一 个 特殊 实现 来 证 明定 


$8. 
注 2.2.2 $ P(Xm = k) > 0, 我们 有 


E[é (X 4j (Xm) Xm = k] = El; (Xm) Xs = E] = pa (Kk. j}. (2.2.31) 


则 (2.2.6) 和 (2.2.7) 可 改写 如 下 ; 
7"—1 5n-—l 
lim sup | Z Oto Qs) / y` ók( Xm) 
noo m-l m=0 
< limsup E(6;(X441)| Xn = kl; (2.2.32) 


n—1 n—-1 
lim inf | y` ók(X,,)6; Xa ]/ ` ók( X.) 
m= m= 
> lim inf Elő; (Xati) Xn = kl. (2.2.33) 
推论 2.2.3 在 土 述 定理 的 假设 下 ， 如 果 
Jim pa(k, j) = plk, i), (2.2.34) 
则 


Snik jiw) _ 


Jim, 7 Tk, u) pik, j} as. T D(k). (2.2.35) 
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证 rH (2.2.6), (2.2.7) 和 (2.2.34), 立即 可 得 (2.2.35) 成 立 . 
推论 2.2.2 4 $-1(12,--,N). 如 果 


im Palk, j) = pík,j)> 0, k, jes, (2.2.36) 


则 对 所 有 的 k, € S, 有 


Snik, j, w) — 


im S. (kw) = p(k,j) a.s.. (2.2.37) 


证 $0c«A«c1—HTÀ, WHARA c S, 令 


rli k) = X. (2.2.38) 
r(i j) = (1—)p(ü,j)/1 — plik), j ES, jk. (2.2.39) 
易 知 (Panan 和 (rE jnen 是 转移 矩阵 ， 当 叶 > 1,9 
n—1 
B(Dss-..) = gao [ | rm (0. (2.2.40) 
m=0 
其 中 q(zo) H (2.2.1) 定义 ， 且 
N 
n(D..)= 3 u( Dua) (2.2.41) 
21-1 
N 
&([0,1)) = M B(D.,). (2.2.42) 
zp—l 


Api. Lm umaX. AEF [0,1) ERREA gu. 使 对 任意 Dou. 
有 
HD roen) = gx (DZ...) — 94D, e (2.2.43) 


令 
_ 9 (D£...) ~ (Dz) 


t (A, w) D+ —p- 
Zü: Tn Tous 
_ (Droz) 
= PD.) Day w € (D... )- (2.2.44) 


id B(A k) 为 gx 可 微 点 集合 ， 仿 照 (22.18) 和 (2.2.19) 的 推导 ， 有 


Jim tn( 和 hw) = SIE, o € BO,E), (2.2.45) 
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ERAS 
Jim [tn (A,w)] <1, we B(A,k). 


H (2.2.44), (2.2.40), (2.2.9) 和 (2.2.10), 有 


n-—i n-1 
rT(Xm, Xm+1) r(Xm, X441) 
= IL ZEE = R, mum) 
t4(A w) (w) i PAm Xm41) 


Pn(Xm, Xm41) 


m=0 


其 中 
P(Xm Xm) X41) 
-ÏI Pm Pm (Xm, Xm41) 用 ra ) 


m=0 


显然 由 (2.2.36), 得 
Jim [Rn] =1. 


此 式 与 (2.2.46) 和 (2.2.17) 8 € 


P(Xm, Xm+1) 


T.—2o0 m=0 


A 


a, = min (p(s,)), by = max {p(i, k)}. 


由 (2.2.38), (2.2.39) 和 (2.2.51), 有 
T(Xm Xm r(i,j) 
TI e = Hi il il (FZ (z,j) 


mmi-13j-l 


"ear i(Xm-1i;(Xm) 


n-1 N 3s 67 | 1—A r) 


- HIH I5 


za Cuni k) 1 — p(š, k) 
_ II { | À) | S4 (S, ku) | 1-A poem) 
、 N À Sy (ik) —A Sp ($49)— Sa (i km) 
_ I b. : — Gk 
À 


n-1 1/n 
lim sup | II men <1, w€ B(À,k). 


,41 ， 


(2.2.46) 


(2.2.47) 


(2.2.48) 


(2.2.49) 


(2.2.50) 


(2.2.51) 


Is À mmm 1-AÀ kawa 
1 


(2.2.52) 


.42. BREER Rr tk 


由 (2.2.50) 和 (2.2.52), 得 


AN Sh y q _ X y 1788 a)/n 
lim sup |Z) ( ) | <1, we B(A. k). (2.2.53) 
n+ br 1 一 Gk 


由 此 得 


limsup(i/n)S, (k,w) In E E <h — w € B(À. k). (2.2.54) 


He As € (0O,axk), H 
A«(1 — a4) <1 0< l — ak 


< 
0< FN) 1— Ak 


< 1. (2.2.55) 


由 (2.2.54) 和 (2.2.58), 得 


liminf(1/n)S,(k,) > |n: | AT 一 ak) 


> 0, 
bill — M) 


w € B(A, k). (2.2.56) 


显然 由 (2.2.56) 知 B(A,, k) C D(k), Kp D(k) 如 (2.2.15) 所 定义 .由 于 PIB (Ar, k)) = 
1, 故 有 PCD(k)) = 1. H (2.2.35), 即 得 (2.2.37) 成 立 . 
推论 2.2.3. 在 推论 2.2.2 ØRET, WHAK kes 有 


Jim (1/n)S,(k,a) = pk BS, (2.2.57) 


其 中 (pul < k < N) 是 由 转移 概率 (QU 1) wc 决定 的 平稳 分 布 . 
证 令 


D = {w: lim Sn(k,j,w)/Sn(k,w) = p(k,j), V k,je S). (2.2.58) 
由 推论 2.2.2, 有 P(D) = 1, 4 u € D. H (2.2.58), 有 
Sa (j, kw) = plj k)Ss (3, w) + a C, k, w) Salh w), (2.2.59) 


其 中 an{j kw) — 0(3M n — oc). £ (2.2.59) 中 对 了 = 12…… N 求 和 和， 得 


N N 
) = Yo pU, E) Gu) + 2, enlik, w) Slj w). (2.2.60) 
4=1 


a 


un{k w) = (1/n)S,(k,u), (2.2.61) 
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N 
Bn(k,w) = (1/0) V^ anli kw) SnG w). (2.2.62) 


£a 


BAR B. (ku) — 0( 当 n oo). t (2.2.60)—(2.2.62), 得 


N 
usb w) = Y p kus Gu) + Bs), LS ES N. (2.2.63) 


j=1 


易 知 存在 一 个 正 整 数 的 增 数列 {ni,i = 1,2,… HRTF w), EEE k e S, 有 


im us (kw) = qe, (2.2.64) 
其 中 
N 
97a =1, q 20 1<k<N. (2.2.65) 
k=1 
H (2.2.63), #8 
N 
us, (kw) = Y pü, kK)un (3, 2) + Bn: (kw). (2.2.66) 
j21 


& í — co. H (22.65) 和 (2.2.66), 得 
N 
d = V p k)o, q 20, 1<k< N. (2.2.67) 
jc | 


由 (2.2.65) 和 (2.2.67), 知 {gr,1 < k < N) 与 由 转移 概率 (plij) 决定 的 平稳 
分 布 [pal < k < N) 是 一 致 的 。 这 就 意味 着 子 列 (u, (k, wn > 1) BJ ik OB B £ 
惟一 的 ， 因 此 

Jim Aus(k,w) = py, w€ D. (2.2.68) 


由 于 P(D) = 1, H (2.2.68), 即 得 (2.2.57) 成 立 ， 即 得 证 推论 2.2.3. 


82.3 有 限 非 齐 次 马尔 可 夫 链 的 老 干 极限 性 质 


设 (X«,0 > 0) 是 取 值 于 状态 空间 S = 和 ,2,… m) 上 的 马 氏 链 , 其 联合 分 布 
为 plzo) L[ mi rr), 其 中 pali) 是 转移 概率 PIX = j|Kx—i = ü). 令 9,3) 


k=1 
是 定义 在 Sx S ENSE, Falo) = (1n) 9, ss Xi). 本 节 研 究 了 Fue) 与 
k=1 
HAEE . 
fal) = -(1/n) [Inp(Xo) + Y nu] 


k=1 
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的 极限 性 质 , 得 到 了 关于 {Xan > 0} 几乎 处 处 收敛 的 若干 定理 , 并 且 把 Shannon- 
McMillan 定理 推广 到 非 齐 次 马 氏 链 的 情形 .本 节 结 果 见 刘 文 与 杨 卫 国 (1996b). 


6231 引 d 


设 {Xn,n > 0) 是 取 值 于 状态 空间 S = 行 ,2,… m} 上 的 一 列 随机 变量 ， 其 
联合 分 布 为 


P(Xo = Zo,- X, = En) = P07 za] >0, ES, 1<i<n — (281) 
^ 
fa(w) = —(1/n)Inp( Xo, --- ,Xn). (2.3.2) 


fn(w) WS {Xk,1 < k < n) 的 相对 糊 密 度 (参见 Barron 1985). 如 果 {Xan > 0) 

是 取 值 于 状态 空间 S = (0,2, ,m} Eder S I ek, Hai py fi S3 53⁄ 35 H ERE 
分 别 为 

(p(1), p(2).- "t ,P(m)), pli) > 0, iE S, (2.3.3) 

Pan = (Pali j)), Pali j) > 0, š,3 € S, n > 1, (2.3.4) 


其 中 Dr 人 人 三 P(X, = J|X,-1 = iln 之 1), 则 


P(zo,:-- ,Tn) = p(zo) [ps(es 1, £8), (2.3.5) 
k=1 

fal) = —(1/n) |Inp(Xo) + 》 Inp.(Xi-1, X4) | . (2.3.6) 
k=1 


fe & iE P ES — 13€ E l ñ b 3R HEELS ERI ER PE I. Shannon + 1948 年 
首次 证 明了 平稳 遍历 马 氏 链 f.(o) fONCEREOSCP— 33. — McMillan(1953) 和 
Breiman(1957) 分 别 证 明了 如 果 {Xn} 是 平稳 遍历 的 ， 那 么 fao) 分 别 依 Li 收 
SEE as 收 伍 到 一 常数 . 这 就 是 著名 的 Shannon-McMillan 定理 . 后 来 有 不 少 作者 
讨论 了 更 为 一 般 的 情况 (参见 Barron 1985, Chung 1961, Feinstein 1954 与 Kiefer 
1974). 

本 节 的 目的 是 用 一 种 新 的 方法 推广 Shannon-McMillan 定理 , 并 给 出 有 限 非 齐 
次 马 氏 链 得 一 类 极限 定理 . 在 第 二 部 分 中 我 们 证 明了 这 篇 论文 的 主要 结果 , 即 关于 
非 齐 次 马 氏 链 的 两 个 随机 变量 的 函数 的 收敛 定理 . 在 第 三 部 分 中 , 我 们 得 到 了 马 氏 
链 的 其 他 一 些 极限 性 质 及 其 相对 箭 密度 的 若干 极限 定理 最后， 我 们 把 Shannon- 
McMillan 定理 推广 到 非 齐 次 马 氏 链 的 情况 ,在 还 明 中 ， 使 用 了 刘 文 (1990) 提出 的 
研究 a.s. Hire o US. 
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823.2 主要 结果 


W {Xn,n > 0} 是 具有 初始 分 布 (2.3.3) 与 转移 矩阵 (2.3.4) WERE, gali J) 
是 定义 在 SxS rüxmm o 


Fa(w) = (1/n) V. gk(Xs1, Xx). (2.3.7) 
k=1 


特别 地 ， 令 geli j) = —Inpk(š, j), 除 第 一 项 外 立即 可 得 (2.3.6). 
*pies,4 (J) E Kronecker m2, Bj 


s=] N "a (2.3.8) 
显然 有 
Falu) = (1/n) SY TY a G4 (X1 3)65 X). (2.3.9) 
k-c1izlj-1 


定理 2.3.1 设 (X,,n > 0] 是 具有 初始 分 布 (2.3.3) 与 转移 矩阵 (2.3.4). 的 马 
KE, Fala) 由 (2.3.7) zz X. WI RAE TEE o > 0, 满足 


bali, j) = limsup Y ^ gy" (ü, j)p(5, j)e^ 1*5? < co, v i, j € S, (2.3.10) 
T—OO k—1 
则 
Fala) — (1/n) 》 gs (Xz-1,j)pk(Xk-uj)| =0 aa (2.3.11) 
k=1 j=1 
Bp 


m >: Xr- Xx) — (1/n) 3 =0 as. (2.3.12} 
k=1 k=1 j=1 
证 我 们 考虑 基本 的 概率 空间 ([0, 1), FP), 其 中 下 是 [0,1) 区间 上 的 Lebesgue 
a minm f, P Æ Lebesgue 测度 .我 们 首先 给 出 具有 初始 分 布 (2.3.3) 与 转移 
和 抢 阵 (2.3.4) 的 马 氏 链 在 此 概率 空间 的 一 种 实现 ， 将 区 向 [0,1) 分 成 m 4 Z HIH 3F 
区 间 : 


三 [0, p{1)), D = [p(1), p(1) T25(2)). Ut Dm = n _ pim), 1). 
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这 些 区 间 都 称 为 0 Br X (al. 很 明显 有 
P(D;,) = p(zo), £o = 1,2,--- m. (2.3.13) 


BE m” in-i 阶 区 间 (Dau 2712, m, 0 <i <n—- 1) 已 经 定义 . 
将 右 半 开 区 间 Duis, 按 比例 : 

Prfzn -1， 1) : p.a(z,-A,2) Dt Pn (25. rn) 
分 成 m 个 右 半 开 区 间 Dam 2 (Dana um 这 样 就 得 到 n 阶 区 
E. Xn 7 1, 易 得 


P(D.,,....,,) = p(zo) [[p. (zi, 2x). (2.3.14) 
k=1 
Xp n > 0, 定义 随机 变量 X, : [0,1) > S 如 下 : 
X4(w) = £n, 如果 w € Das, (2.3.15) 
H (2.3.13) 与 (2.3.14), 得 


{u : Xo = 20, ,Kn = za] = Das, 
P(Xo = zo,: , Xn = 24) = p(zo +- £n) = p(2o) I[»-:20. 
k-t 


因此 {Xan > 0) 是 具有 初始 分 布 (2.3.3) 与 转移 矩阵 (2.3.4) 的 马 氏 链 . 
设 各 阶 区 间 (包括 零 阶 区 间 [0, 1)) 的 全 体 为 A, r 为 非 零 常数 ，i,j E S. 定义 
SERERE z 如 下 ， 假定 D........ 是 nn 阶 区 间 . H = > 1, $ 


n 1 & (zi 1) 
{Dzatna} = exp "De ite Hi |= | 


k=l gi LI — Dp (3) 


TL 


xp(zo) II px[2k—1, 24), (2.3.16) 
k=1 


其 中 gk(i,7) 简 记 为 gi. + 


pDr) = Y (Dass); (2.3.17) 
u((0,1)) = 9 (Dao). (2.3.18) 


zo-1 
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由 (2.3.16), 33 n > 2 时 有 


m D Pnl(En-1, Za Jexp[ró;(z,-1i)ó;(z.)gn] 
Das) = UNER U — A 
> ° Uo [e (en — Dp (ij)? 


(Diu Pa(£» 1, j)exp[r&i(za 1)94] + (1 — pa(zn3,3)) 
u( a 2i) [1 十 (ergn NH 1)pnli, jy 6772 
一 BD, 1) (2.3.19) 
(考虑 两 种 情况 (mu 1) = 0 A dlen) = 1, 最 后 的 等 式 成 立 )， 由 (2.3.17) 一 
(2.3.19), 易 知 存在 定义 在 [0,1) 上 的 增 函 数 所 ,对 任 条 (Dass) 满足 
B(Das n.) = POOL. = FS uu (2.3.20) 


其 中 DZ... 与 Dio. 分别 表示 了 oo zw。 的 左右 端点 ， 事 实 上 ， 设 各 阶 区 间 端 点 
的 集合 为 Q, 我 们 定义 f, 如 下 : 
fr(0) = 0, f.()=1 


k 
PUE aL Dj), k= 1,2,... ,m, 


i=1 
k 
FOL. vua) = FD a) 十 ud D.....s, i), 
t=1 
f-(z) = sup(f-(t),t € D, z)( | Q). tnc € [0,1] — Q. 
易 知 f. 是 定义 在 [0,1] 上 的 增 函 数 县 满足 (2.3.20). + 


站 = f(DE.....) m feu) 
P(D,,...) Di... — Dga. 


设 fau E SR As), 则 (参见 Billingsley 1986, p.423) 


tn{r, w) = , @ € Dans (2.3.21) 
Jim tu(r o) = HB, o € A; (r), (2.3.22) 
HEIN SEE GEEIS, A P(Aj(r)) = 1. d (2.3.22), 得 
limsup(1/n)Int4(r,w) < 0, w € A;;(r). (2.3.23) 
由 (2.3.14)—(2.3.16) 与 (2.3.21), 得 


(1/n) lnt,(r, w) 
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= (r/n) Y 4( (Xu 1)55(Xx)g — (1/0) Y 0f 1) In[1 + (e”% — 1)p. (i, 7)], 
kd k=l 
w € [0,1). (2.3.24) 


H (2.3.23) 5 (2.3.24), 有 


inp OSD (X, 6; (KE) gk — (1/8) Y- 54 (Xr- ml + em ~ Dd] 


k=1 k=1 
<0, we Agir), (2.3.25) 
其 中 prli, j) 简 记 为 pa. 
(a) $ r > 0, 在 {2.3.25) 两 边 同 除 以 7, 得 


inm f a/a (Xp) (X. )gk 一 (1/9) 9: &QX- oi (e Dp) 


k=1 k=1 
<0, o € A;;(z). (2.3.26) 
H (2.3.26) 与 上 极限 的 性 质 


limsup(a, — b.) < 0 => limsup(as ~ ew) < limsup(b, — €n), (2.3.27) 
n-o0 no "noo 
及 不 等 式 
In(1 + z) < z (z > 一 1)， (2.3.28) 
有 
0<e*—1— z< eT, (2.3.29) 


lim sup(1/n) 35 &OOG X9 — Y KÜG- a 
noe 1 k—1 


< limsup(1/n) 6X4 )((1/r)1n[1 + {e — 1)nk] 一 多 pp 


» 


< limsup(1/n) 2_ (Xy) ps/r)(e"^* — 1 ~ vei) 


k=1 


< lim asup (1/2) Y^ 8 Ape, w € Agir). (2.3.30) 
k=1 


取 ri € (D,a), l= 1,2, 满足 ri 一 0(! — oo), 3E 


e 
A; = A Aij (ih, 
il 
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则 对 一 切 21> 1, 由 (2.3.30) 8 (2.3.10), 得 


lim sup(1/n) [x Gi XE_1) 6 (Xk) gk 一 adda 


k-1 k—i 


n 
< limsup(1/n) x gy pie" 9! 


= rbai, j), u € Ag. (2.3.31) 
HIT r; — 0( — oo) 及 (2.3.31), 得 
lim sup(1/n) [x á,(X, .1)6; (XH) gs 一 > OG Una <0, o € A*. (2.3.32) 
(b) $ r < 0, Æ (2.3.25) 两 边 同 除 以 7, 得 
liminf(1/n) 位 ôi X35) 0G)gs — (1/r) Y & (X1) In[L + (e? — on] 


k-l k=1 
«0, u € A;;(r). (2.3.33) 
H (2.3.33) 与 于 极限 的 性 质 


lim inf (ax — bn) > 0 = liminf (an — en) 之 lim inf (bn — cn), (2.3.34) 


及 不 等 式 (2.3.28) 与 (2.3.29), 有 


lim inf(1/n) Y 4063); 09)g. 7 3 OG 1) 
zl k=1 


> liminf(1/n) Y^ &OG (1/7) In[1 + (e'?* — 1)pe] — gxp«] 
k=1 


> liminf(1/n) 3 ` 65 (Xk—i)pa(e"9* — 1 — rga) 
k=1 


= (1/7) lim sup(1/n)} Y OG i) n/n)e * ~ 1 — rou) 


k=1 


> r limsup(1/n) Y gx pue" ^l,» € Aplr). (2.3.35) 
no0 kol 


Bt s; € (—0,0),12 1,2,-.-, 满足 s — 0 (I — co), 并 令 


Ag" = (Aula), 
1-1 


. 50- m E Hr Jy th 


则 对 一 切 1 > 1, 由 (2.3.35) 与 (2.3.10), 得 


liminf(1/n) P: (Xx—31)ó; Coe — Pa GG Jen. 


k-1 


> gl limsup(1/n) Ea pye"l?*l 
k=1 


= siba(i j), w € Ag". (2.3.36) 
由 于 s: -0( — oc), 由 (2.3.36), 得 
lim inf(1/n) È Gi Xb-1)67 (XE)Gk 一 heen 20,weAg". (2.3.37) 
k=1 k=1 
4 Ag = Ag (1Ag". 由 (2.3.32) 与 (2.3.37), 并 注意 到 gx = gk (i, j), ps = pk 3), 
44 


-im (1/n) 


34 (X, )6j (XE Jo 一 Da (Xk den 20, o € ÀA;;. (2.3.38) 
k=1 


4 A = [iy Ag 由 (2.3.38), (2.3.9) 与 (2.3-8) 有 


Jim (1/n) 5 gi Xs Xk) - $7 Ese] 


k=1 k=1 j=1 


= lim ( (1/m) D9 ERA (Xx 3)6;(Xx)gu(t, 7) -和 yi (Xy Ai)gkš,j)pk (š, 中 


k=1 | i=1 j=1 t=1 j=l 


"n 


=Y X tim (1/5) $ lK- dorli 1500) pli j= e € A. (2.3.39) 
i=1 j=1 k=1 
由 于 P(A) = 1, (2.3.12) 由 (2.3.39) 立即 可 得 .证 毕 . 
推论 2.3.1 db (X,,n > 0) 5 (g«(4j),m x 1) 如 定理 所 述 如 果 存 在 a>0 
满足 对 所 有 的 dj € S, {prli j)eolm DL k > 11 有 界 ， 即 存在 有 限 数 M Gi) 满足 


0 < py (i, Yel < M(ij), V k > 1, (2.3.40) 
则 (2.3.12) 成 立 . 
WE 取 8e(0,o). 由 (2.3.40), 有 


bali j} = lim sup(1/n) ov^ Jypx (i, jef 


k—1 


IB UR RAKAAT A hE UM LEE (lc 


= limsup(1/n) Ý. pa (i, J)p (i, JJe 5g, 2 (i, jye( ola Gu 
nome k=1 


< M(i, j) limsup(1/n) Y ga” (i, je "Ilo < oo, (2.3.41) 
nux k=1 


由 定理 2.3.1, (2.3.12) 从 (2.3.41) 立即 可 得 . 证 毕 . 


82.33 ”马尔 可 夫 链 的 若干 其 他 极限 性 质 
与 Shannon-McMillan 定理 的 推广 


定理 2.3.2 Wb (X,,n 2 0) 是 具有 初始 分 布 (2.3.3) 与 转移 矩阵 (2.3.4) 的 马 
氏 链 ， fale) 是 由 (2.3.6) 定义 的 相对 炳 密度 ， 则 


dim [aem ntn ntn] =0 as. (2342) 


k=1 j=l 


F,(w) = (1/n)gs(Xu-1, X) = —(1/n) Y Inpr( Xe- Xe), (2.3.43) 
k=1 
及 
pui, j)el9* 62! — pi (ü, j)e In P031 = 1, (2.3.44) 


H (2.3.43), (2.3.44), (2.3.6) 及 定理 2.3.1 的 推论 知 (2.3.42) 成 立 ， 证 毕 . 

引 理 2.3.1 {Ynn > 1) XE S = 1 人 ,2 … m) 中 取 值 的 随机 变量 序列 ， g 
So k > 1. 是 定义 在 5 上 的 函数 ， Sn(i,w),i € 5, 是 序列 Yi(w) Yao) 中 
出 现 的 个 数 ， 即 有 


Saliw) = > 5: (Yk (e)). (2.3.45) 
k=l 
如 果 
(a) . 
Jim (1/2) 2 løli) - g()] = 0, vie S; (2.3.46) 
k=1 


(b) 下列 极限 存在 ， 


lim (1/n)S, (1,0) = p; as, Vic 5. (2.3.47) 
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则 ñ ñ 
Jim (1/n) Y gr(Ys) = M pigli) a.s.. (2.3.48) 
k=1 ` i=1 
证 应 用 三 角 不 等 式 ; 
la — 5| < |a — c] + |e — b|, (2.3.49) 


由 (2.3.8) 与 (2.3.45), 得 


|(1/n) Y^ g«(Y&) — 5 pigli) 
k=1 i1 


I(1/n) Y Y &Qa() ~ (1/n) Y Y (Yra) 


k=1 i=l k=1 3 一 】 


n m m 


(1/2 > pg 
k=1 i=l i=l 
< (1/n) DIAO, — g(i)| + > ((1/n) Ex (Yh) ~ pilloli 
k=1 i=1 
< (1/1) > 2 a) — gl + Y (a/m)S.,) = pillgG). (23.50) 
由 (2.3.47), 有 
lim. Y (1/05. w) — pilloli) = 0. a.s.. (2.3.51) 
i=l 
且 由 (2.3.46), 得 
lim (1/2) $ 》 ^ lox) — (5 = 0- (2.3.52) 


1—15k-1 
则 由 (2.3.50)—(2.3.52), 立即 可 得 (2.3.48). 
定理 2.3.3 HIRE (Xn > 01, gelij) 与 Fn(w) 如 定理 2.3.1 所 述 ， 令 
g(i) PELES EHAK, Saliw), (€ S, 是 序列 Xo(w),--Xocai(w) th i BHL 
的 次 数 ， 即 


S, (io) = 》 SG i (o). (2.3.53) 
k-i 


如 果 
(a) FE a >0 对 所 有 的 让 j € S 满足 (2.3.10); 
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(b) 
Jim (1/n) 319 2k .3)9(53) gli) = 0, Vi e S; 
k=1 j-1 
(c) 下 列 极限 存在 : 


Jim (1/n)Sn (i, w) =p; as, Vic S. 


则 
Jm Fa(u) = Spas) a.s.. 
i=1 


证 在 引 理 23.1 中 令 Y, = X4. 


g«(i) = 2 jp). kd, 


j-1 


由 (2.3.53) 与 (2.3.54), 有 


lim 1/5) 3" p QG 1,3) UG isi) = Y pigli) a.s.. 


k=1 j=1 i-1l 


. 53. 


(2.3.54) 


(2.3.55) 


(2.3.56) 


(2.3.57) 


(2.3.58) 


由 (a) 及 定理 2.3.1,(2.3.11) 成 立 ， 则 由 (2.3.11) 5j (2.3.58), 立 得 (2.3.56). 证 毕 . 
定理 2.3.4. {Xan > 0), g) 5 Saliw) 如 定理 2.3.3 中 所 定义 , 且 设 fao) 


是 由 (2.3.6) 定义 的 (X4,0 < k < n) AHHAR. 如 果 
(a) 


Jim (1/2) $ ^| mlj Inpy(1, j) + g(i) = 0. Vi e S: 


k-1 j=l 


(b) 对 所 有 的 ie S, 等 式 (2.3.55) 成 立 ， 则 


m falu) = Y pigli) a.s.. 
i=l 


证 在 引 理 2.3.1 中 令 Y, = Xu 


ali = V. peli i)n pelii) k > 1. 


J=1 


由 (2.3.59) 与 (2.3.55), 有 


im (1/n) ^| 3 PX- j) np 031,3) =) poli) as. 


k=1 j-1l 4 一 上 


(2.3.59) 


(2.3.60) 


(2.3.61) 


(2.3.62) 
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由 定理 2.3.2, (2.3.42) 成 立 ， 由 (2.3.62) 与 (2.3.42) 易 得 (2.3.60). 证 毕 . 
定理 2.3.5 BERE {Xn n > 0) 与 Saliw) 如 定理 2.3.3 所 定义 ， 则 


Jim (1/n) | u)- asd =Ü as. (2.3.63) 
k=1 
证 在 定理 2.3.1 d ge —()(k2 1), 由 (2353), f 


Y (kis jp (4.3) 
k=1 


P» (Xr) - Y (jp QG- i) 


j=1 
= S,(¿u) +k (X.) — &(Xo) — Y ppl Xr-1,i). (2.3.64) 
k=l 


由 (2.3.64) 与 定理 2.3.1, (2.3.63) 成 立 .证 毕 . 

定理 2.3.6 RERE [X,,n 20) 58 S.(w) 如 定理 2.3.3 Bog X. W P = 
(p(s,j)) 是 遍历 转移 矩阵 ， 且 设 (p1,… pa) 是 由 P 决定 的 平稳 分 布 ， 对 任意 实 
数 ， 令 


at = max(a,0), a^ —(—a)*. 


(a) 如 果 
Jim (1/n) 3 pelii) ~ (53) =0, V j e S, (2.3.65) 
则 
lim sup(1/n) Sn (fw) < p; a.s.; (2.3.66) 
(b) 如 果 
Jim (1/n) $^ [ps(4,3) -PIT 70, v, € 8, (2.3.67) 
k-1 
则 
lim inf(1/n)54 C, w) > pj, a.s.; (2.3.68) 
(c) dn RE 
Jim (1/0) $ |px(4.3) ~ 553) = 0, Vii € S, (2.3.69) 


k=1 
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则 


im (1/n)Sn(j,w) = p; as. (2.3.70) 
证 由 (2.3.63), 得 
Jim (1/n) [sng 一 > P X1, J =0, G€ A, VjeS, (2.3.71) 
K'pPAcCcFHP(A)-1 548 
> pk[Xk 1.2) = $ sau) (ij), Vj € S. (2.3.72) 
应 用 上 、 下 极限 的 性 质 (2.3.27) 与 (2.3.34), 由 (2.3.71) 与 (2.3.72), 有 
lim sup(1/n) [SG 3-35 s w)p ie 
< limsup(1/n) Yn 08s -P-njl] weA vVjeS (2373) 
lim inf(1/n) [Gon ee 6) 
> liminf(1/n) Stt j-»Xc-uih ë € A,V j € S. (2.3.74) 
很 明显 ， 
pk X153) — P313) € px [(Xx—1,3) 7 p(Xx-1,3)]* 
< Y -p i", (2:15) 
pa(Xx—1,3) — p(Xsa,3) 2 im Oa -p(Xs-i 3) 
> -F patis) -PGDI (2.3.76) 


(a) 假定 (2.3.65) 成 立 ， 由 (2.3.75) 与 (2.3.73), 有 


lim sup(1/n) Ë alj uw) 一 Y 5.6. w)p,j)|€0, u € A, VjeS. (2.3.77) 


4 一 1 
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在 (2.3.77) Pj [RT 3 pJ p(j, k), 然后 将 所 有 的 不 等 式 对 j 一 1,2,.-- m 求 和 ， 有 


0 > lim sup E Sa, w) pli, k) 一 »» 》， Sn(i,w)p(i, PPU, 1 


j=l i=1 


= lim sup(1 In) p Ss (j, e )p(j, k) 一 Sx (kw) + S (E, uw) — V ^ Ss (i up? (i, | 


j=1 i=l 


> limsup(1/m) [ss w) — y` S, (i, w)p?(i, 9)| 


To i—1l 


- lim sup É w) = Y s,G, w)p(3, 1 ， WE A, (2.3.78) 


j=l 


其 中 pP (i, EU 是 一 正 孝 ) 表示 由 转移 矩阵 决定 的 1 步 转移 概率 . H (2.3.77), 有 


lim sup(1/n) [ee - Y E) <0, Q € A. (2.3.79) 


j=1 


由 (2.3.78) 与 (2.3.79), 有 


lim sup(1/n) É 2) 一 Y s. wp (i, 1 <0, w€ A. (2.3.80) 


j=1 


由 归纳 法 对 所 有 的 【之 1 有 


lim sup(1/n) ls. w)-— Y 5.6. wp (i, J <0, € A, (2.3.81) 


i-i 


从 而 


02 lim sup(1/n) [ss w) 一 npy + 2 S. Gu). - p'(i, | 


> lim sup((1 [n)Ss (kw) — pa] 一 > [pk — p'(i,k), < € A. (2.3.82) 


因为 p'(i, k) — pall — oc), H (2.3.82), 得 


limsup(1/n)S4(k,w) € py, wc A. (2.3.83) 
n-roo 


因为 P(A)= 1, # (2.3.66) 成 立 . 
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(b) 假定 (2.3.67) 成 立 ， 由 (2.3.74) 与 (2.3.76), 有 
lim inf(1/n) | Ss (ju) 一 Y S.(G,w)p(ij)| 20, we A,V jc S. (2.3.84) 
t=1 
因此 用 类 似 于 (2.3.83) 的 论证 ， 可 得 


lim inf (1/n)Sn(k, w) > pk, wEA. (2.3.85) 


因为 P(4) = 1, # (2.3.68) 成 立 . 

(c) 假定 (2.3.69) 成 立 . 显然 (2.3.65) 与 (2.3.67) 可 从 (2.3.69) 得 到 . 因此 (2.3.66) 
5 (2.3.68) 成 立 ， 且 (2.3.70) 得 证 . 

定理 2.3.7 设 [Xu 20) 5 Saliw), plij) (pit ;pm) 如 定理 2.3.6 所 定 
X. Hgg k > 1 RxEXES 上 的 函数 . 如果 (2.3.46) 与 (2.3.69) 成 立 ， 则 


lim (1/1) $ ^ gx) = J pigli) as., (2.3.86) 
k=1 i=1 
证 由 定理 2.3.6(c) ,有 
Jim (1/n}Sn(j, v) =p; VjesS. (2.3.87) 


应 用 引 理 2.3.1, H (2.3.87) 5j (2.3.46), nj 1 (2.3.86) 成 立 ， 证 毕 . 
引 理 2.3.2. Wb (ak. k > 11 是 一 非 负 有 界 实数 列 ， M 为 fark > 1) 的 一 个 
上 界 ，5 是 一 正 数 ， Na 人 5) REX T 6 的 项 as, 1 < k < n, 的 个 数 ， 则 


Jim (1/n) 3a 0 (2.3.88) 
k—1 
的 充分 必要 条 件 为 
Jim (1/n)Na(6) = 0, v6 > 0. (2.3.89) 


证 先 证 充分 性 ， 假 定 (2.3.89) 成 立 ， 对 任意 正 数 6, 有 


(1/n) $^ a, = (1/n) V7 a, + (1/1) > ak < ó + (Mn)N,(8). (2.3.90) 


k=l ok €6 ay Zá 
H (2.3.89) 5 (2.3.90), 有 


lim sup(1/n) > ay < á. (2.3.91) 


.58 ， 38, 8 3€ se 8E 53 739175 1k 


A ó — 0, 由 (2.3.91), 得 (2.3.88). 
下 证 必要 性 ， 假 定 (2.3.88) gf xr. HERES ô, 有 


(1/1) $ ar > (1/n) 》 ax > (1/n)áN,(8). (2.3.92) 
k=1 ag>4á 
ken 


购 由 (2.3.92) 5j (2.3.88), 可 得 (2.3.89). 证 毕 . 
引 理 2.3.3 j f(z) 是 定义 在 区 间 I E PR TRES, {ark > 1} 是 区 条 了 中 
的 序列 ， 如 果 


im (1/n) Y [ag — a| = 0, (2.3.93) 
k=1 
且 f(z) 在 点 a 连续 ， 则 
lim (1/n) 》 (flax) ~ f(a)| = 0. (2.3.94) 
k=1 


证 由 连续 性 定义 ， 给 定 e > D, 存在 5 > 0, HAAREN je- 时 ， 有 
If} ~ fla) < e. (2.3.95) 


令 N,(6) 是 序列 {lar — a|,k > 1) Éin 项 中 大 于 5 的 项 的 个 数 ， Male) 是 序列 
[lf(ak) 一 f(a)|,k > 1) 的 前 项 中 大 于 = 的 项 的 个 数 ， 由 (2.3.95), 有 


Male) < V,,(ó)- (2.3.96) 
由 引 理 2.3.2 的 必要 性 部 分 ， 由 (2.3.93) 与 (2.3.96), 得 
Jim (1/5) M, (e) = 0. (2.3.97) 
因为 (|f(az)— f(a)|,k > 1) AR, 由 (2.3.97) 及 引 理 2.3.2 的 充分 性 部 分 ， (2.3.94) 
得 证 ， 证 毕 . 
定理 2.3.8 设 [X,,n > 0) 是 具有 初始 分 布 (2.3.3) 与 转移 矩阵 (2.3.4) 的 马 
K, HU gia) 是 定义 在 区 间 (0,1] HEZA, WE 
Im, zg(z) = ACERO). (2.3.98) 
B P = (p(š,j)) 是 遍历 转移 矩阵 ， (pt ,pm) EH P 决定 的 平稳 分 布 ， 令 


F,(a) = (1/n) V 9lpr (Xk Xx). (2.3.99) 
k-i 
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如 果 
(a) 存在 o>0 满足 
limsup(1/n) 》 9° [pa (a, 3)]pe(i,7)e^ 939 < oo, vi, je S; (2.3.100) 
但 一 OO k=1 
(b) . 
Jim (1/0) 3 Ga, j) — p(53) =0, Vj € S, (2.3.101) 
k—1 
则 m m 
Jim. Falu) = 37 Y pipli, Palpi i) as.. (2.3.102) 
i=1 j=1 
证 令 


f(z) = | zala), 如 果 0<z<1 (2.3.103) 


A, mE z = 0. 
由 (2.3.98) 与 (2.3.103), f(z) Æ [0,1] 上 连续 ， 因 此 由 (2.3.101) 及 引 理 2.3.3, 有 


im (1/n) 9 peli jalpi -PGE =0, viajes. — 23104) 
k=1 


由 (2.3.101) 与 定理 2.3.6, 得 


im (1/n)S, (üa) =p: as V š € S. (2.3.105) 


应 用 定理 2.3.3 + gx (i, 3) = g[px(š, j)), 由 (2.3.104) 与 (2.3.105), 即 得 (2.3.102). 证 
H. 

最 后 ， 我 们 把 Shannon-McMillan 定理 推广 到 非 齐 次 马 氏 链 的 情况 . 

定理 2.3.9 设 马 氏 链 {Xn,n 2 05, p(,3) 与 (p1)… ,pm} 如 定理 2.3.8 所 定 
X, W falu) 是 由 (2.3.6) 定义 的 (X.,0 < k < n) 的 相对 粹 密度 ， 如 果 


lim (1/n) $ ^ [pa (63) — Pi = 0, V ,j € S, (2.3.106) 
k=1 
» m m 
Jim fa(w) =— ,Dpipli,j)inpli,j) as. (2.3.107) 
i=] j=1 


证 在 定理 23.8 H, $ g(z) = Inz, 易 证 存在 o > 0 满足 (2.3.100)( 参 见 定理 
2.3.1 的 推论 及 (2.3.44)). 因此 从 (2.3.6) 与 定理 2.3.8, 可 得 (2.3.107). 证 毕 . 
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推论 2.3.2 设 马 氏 链 {Xn,n > 0}, P 5 (p1,… ,pm) 如 定理 2.3.8 所 定义 ， 
如 果 
Jim pn(ij) = plij) Vijes, 


则 (2.3.107) 成 立 . 
82.4 可 列 非 齐 次 马尔 可 夫 链 泛 函 的 一 类 强 极限 定理 


B {fn(Xn)} 是 可 列 非 齐 次 马 氏 链 {Xn} 的 泛 函 ， 本 节 应 用 分 析 的 方法 来 研究 
{所 (Xn)} 的 极限 性 质 ， 得 到 一 类 不 同 于 通常 强大 数 定律 的 强 极 限定 理 . 在 本 节 的 
定理 中 ， 条 件 期 望 E(f.(X,.|X. .)) 取代 了 通常 强大 数 定理 中 的 E(f.(X,)). 本 节 
的 结果 包含 了 独立 随机 变量 序列 的 一 些 经 典章 强 律 . 有 关 讨 论 参 见 刘 文 、 刘 国 欣 
(1995) AXIE, XX (1994). 

设 {Xn,n > 0) 是 在 状态 空间 3 = {1,2,…} 上 取 值 的 非 齐 次 马 氏 链 ，{ fn (zn), 
nn 之 0} 是 定义 在 S 上 的 实 函 数 序列 ， 又 设 


Yn = f.(X,), n> 0 (2.4.1) 


是 {Xn,n > 0) 的 函数 ， Rosenblatt-Roth(1963, 1964) 对 这 类 随机 过 程 强大 数 定律 
有 所 研究 ， 本 节 的 目的 是 给 出 有 关 条 件 期 望 的 一 类 强 律 ， 根 据 所 得 定理 ， 很 容易 
导出 独立 随机 变量 序列 的 一 些 经 典 的 强大 数 定律 .在 本 节 中 应 用 了 作者 所 出 的 分 
析 方 法 ， 它 与 传统 的 概率 方法 截然 不 同 ， 其 要 点 是 应 用 单调 函数 导数 存在 定理 来 
证 明 有 关 极 限 儿 乎 处 处 存在 . 

取 ([0,1), Z, P) 为 所 考虑 的 概率 空间 ， 其 中 Z 为 区 间 [0, 1) 中 Lebesgue 可 测 
集 的 全 体 ， P 是 Lebesgue 测度 ， 首 先 给 出 初始 分 布 与 转移 疲 率 和 矩阵 分 别 为 


q(1), q(2), q(3), --- , (2.4.2) 
P, 一 (p.(:,3j)), ij € S, n > 0 (2.4.3) 
(H prli, j) = P(X,. 4 = j|X, = )) 的 马 氏 链 在 上 述 概率 空间 的 一 种 实现 . 

设 gln) i = 12,3… 是 (2.4.2) 中 的 正 项 ， 此 处 n, < n2 < ns < … .将 区 间 
[0,1) 按 诸 元 素 比 例 分 成 可 列 {包括 有 限 ) 个 左 闭 右 开 区 间 : Dro zo = nn Nng, 
Bn 

Dn, = [0 q(n1) Ds; = [a(mi), a(n1) + (n2): . 
这 些 区 间 都 称 为 等 阶 区 间 ， 归纳 地 ， 设 n 阶 区 间 Dou, 已 经 定义 ， 且 Pan 中 第 
In 行 非 零 元 素 依 次 为 


pn (Fn, Mi), i= 1, 2, 3, ttt 
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按 比 例 


Do (25, M1) : pn (Zn, ma) : p (pa ma) : 


将 Da. 分 成 可 列 个 左 闭 右 开 区 间 Dira nai = Mi, i= 1, 2, 3, `... ) 这 样 就 


得 到 nn 十 1 阶 D 区 间 . 根据 以 上 的 构造 ， 显 然 有 
=—1 


P(D.,...z,) = dx, It Pr(Zm:Zm41)- 


m=0 
定义 随机 变量 X, : (0,1) — S (n > 0)) 如 下 ， 
Xn(w) =fr, WE Da. an, 
由 (2.4.4) 与 (2.4.5), 有 


n-—1 


P(Xo = fp -Xn = Zn) = P(D.,...z,) = gro II Dm (Tm; Emi). 


m=0 


(2.44) 


(2.4.5) 


(2.4.6) 


故 {Xn,n 2 0) 构成 一 马 氏 链 ， 其 初始 分 布 与 转移 矩阵 分 别 为 【2.4.2)] 与 (2.43). 


it {ann > 1) 是 常数 序列 ，0 <a, f; 定义 fale) 如 下 ; 


* z) = f. (z), 当 [fs (z)| < an, 
fala) | 0, 24 |f.(z)| > an- 


Rics 入 是 一 非 零 常 数 ， 如 果 P(Xn ,=:)> 0, 
bnl) = Eala) Xn = i, n> 1. 
Q. (A) = Blexp[A( fa UG) — n/n] Xn- = 


= 2 paci jexp{ A 0) - bz (i))/an}. 
易 见 
fX.) — bt (a| /a,| < 2. 


38 2.4.3. 对 任意 非 负 常 数 A, 


lim exp[AE 5 if (X) — br,(X,.-1)l/a 1 存在 且 有 限 as 


n-too | Q. (À, Xm-1) 


(2.4.7) 


(2.4.8) 


(2.4.8) 


(2.4.10) 


证 设 各 阶 区 间 及 区 间 (0, 1) 所 组 成 的 类 为 A. 定义 A 上 的 集 函 数 z 如 下 ; 


P(D.,.... exp AER Mfr (t) — bo (0m 1)]/am) 


p (D...) = I5. Qu (A, Tai) 


, ^21, (2411) 


“62. 强 偏差 定理 与 分 析 方法 


A(Dz,) = Zu (Dass), (2.4.12) 
u([0. 1)) )= 2 (De), (2.4.13) 


此 处 5^. 表示 对 所 有 取 值 x: BO. 改写 (24.9) 如 下 : 
Qal, Tn-1) = Y pains as za )exp [fa (zn) - b (zs-1)]/as]- (2.4.14) 


Vn 


H (2.4.11), (2.4.14) 和 (2.4.6), 易 见 


Y u(Ds-...,) = RD .i)- (2.4.15) 


Xn 


由 (2.4.12), (2.4.13) 和 (2.4.5) 31, u E A E c— 可 加 集 函 数 ， 
在 [0,1) 上 定义 一 单调 函数 fa (0) 如 下 : 


falt) = inffu( 4) : A D [0,t), A € o (A), 
此 处 o(.4) 是 由 .4 生成 的 z 代数， 易 见 对 任意 的 Dass 有 

BD S.) = DI.) 一 Das); (2.4.16) 
此 处 DZ... 和 DZ... 分 别 表示 Dol 的 左右 端点 ， 令 


fx(D5....) — fx(Dz,.....) Deo am) 


tnlà, w} = 二 
( Dt a, Dunes. P(D;....z.,) 


; WE Droen nL 

(2.4.17) 
W AC) 是 fx. f Pr REGERE RS. BLEUS SUE iE EXE, P(A(Q)) = 1. 
w € A), Dau, EAR w 的 n 阶 区 人 间 ， 如果 lim uus P(DLIL S.) = 0, 根据 导 
数 的 性 质 {参见 Billingsley 1986, p. 423) 和 (2.4.17), 有 


dim talà w) = fi(w) < oo; (2.4.18) 
如 果 lim oo P(Du.,) = d > 0, W 
Jim. (A, o) = (1/d) lim (Danza) < oc. (2.4.19) 
由 (2.4.18) 和 (2.4.19), 有 


Jim t2), we AQ). (2.4.20) 
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由 (2.4.6) 和 (2.4.11), 有 


exp(A m= [f (zm) 一 b tn- 1/29) 
mG e 2) 


由 {2.4.21) 和 {2.4.5), 有 


tO.) = is QA X.- 1) 


w € Dass w € [0, I). 
(2.4.22) 


由 (2.4.20), (2.4.22), $n PLAY = 1, 由 此 有 


im PPO XR Xm) 7 br Xm /om} 
n—oo Ilh- 1 Qm( ^ Xm- 1) 


« OO f.. 


5| S8 uE EE. 

定理 3.4.1( 刘 文 、 刘 国 欣 1995) 设 IY,, n > 0) EH (2.4.1) 定义 的 可 列 非 齐 
次 马 氏 链 {Xn, n > 0) 的 泛 函 。 {fpn(z)j, n > 1} 是 (0,00) ERG SERERE IE P 
序列 ， 设 {an n > 1) 是 常数 序列 0 < a, f B 


oo 


Y Ele(Y«)/v(a«)] < cc. (2.4.23) 


n=l 


(a) 如 果 当 |z| 递增 时 ， ieulz)/|z| 非 增 ， 则 


Y Yalan WE as, (2.4.24) 

n=1 

(1/a,) Y Ym — 0 a... (2.4.25) 
m=1 


(b) 如 果 当 lz| 递增 时 ， yu(z)1iz| 非 减 并 且 o,(z)/z? 338, MM 


Y Iy, - ElYn]Xn-1)]/an 收 化 as, (2.4.26) 
nal 
(1/an) s [Ym = E(Ya| Xo 1)] 20. as.. (2.4.27) 
m1 


证 因为 假设 2423) 可 写 为 


co 


Y  E[E|e,(Y.)|X, 1]/pn(an)] < eo, (2.4.28) 


n=l 


- 64 . 
而 E(es(Ya)|Xn-1] (n > 基 非 负 随 机 变量 ， 故 有 


35 Ele«(Y.)1X -1il/9s(a«) PAM as 


由 假设 ， 当 |z| 递增 时 or) 于 是 由 (2.4.23), 得 


È Pun Xm) # fn dÈ f 


[fm Xm) >am 


mm Xm mlm P (dua 
«Y Í s Unos) / Ps (a9. )] Pd) 


< > Elem(Ya)]/em(2n) < oo. 
H (2.4.30) 及 Bore Cantell 引 理 ， 有 
fa (Xa) s Jam) 仅 有 限 项 成 立 as. 
因此 


强 偏 差 定 理 与 分 析 方 法 


Pldw) 


S (fam)[fm(Xm) — £500] ef as 


m=1 


由 (2.4.8) 及 (2.4.9), 有 
EAIA Gs) 7 bn (0)/a«]I X41 = i} = 0. 


Q«(A.1) - 1 = E([exp( AUS (Xn) — b; (0/24) 1 


— AUZ UG) — bran] Xa 
再 由 (24.8). 有 


t=! f T f(z)dFx x, (ell < f - Mz Gs, ix. (lD, 


=). 


(2.4.29) 


(2.4.30) 


(24.31) 


(2.4.32) 


(2.4.33) 


(2.4.34) 


此 处 Fx. x. (eli) = P(X, < *|X, i =) XT (Xs 一 讨 的 条 件 分 布 函 数 . 


由 下 面 的 不等式 
er—1—-zx>0 Ys je —1| < |z|e!, —t < z 


及 (2.4.33), (2.4.9), (2.4.10), (2.4.34), (2.4.7), 有 


<t 


0 < E(lexp(A(fa (Xn) — b; s) )/àa) 一 1- Af (X4) 一 b. n (2)) fanl|X. -1 7 i 
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= Q (À) -1 
= E([exp(A(fa( Xn) — bi (ü))/as) - 1]]Xn-1 = i] 


<f ”apta] — 8/25) — MF, ix... (zi) 
< (en) f 7 Cz) — S Ge PF x... (abi) 
< aae f (CUyeajlfetalaFx ux... (al) 
= 2JAļe2l f (L/an)|fni£)dFxnlxa (zli). (2.4.35) 
Hf. (x) San 
现 假定 (a) 中 的 假设 成 立 ， 易 知 
[fr (2) /fan < eu fnt 2)) /en(as). 因为 | 疡 (zj < s. (2.4.36) 
由 (2.4.35) 和 (2.4.36), 有 


0<Q,.[Xi)—- 1 < hem f u(fn(z))/ tenian d Fx, ix, (Fli) 


Ifa Gz)] San 


< 21 AJe2l3l n ealfs(v))/9n(aa )dFx, xn (|f) 


= 20e? P Eos (Yn) Xa- = /pn(an). (2.4.37) 
由 (2.4.37) 和 (2.4.29), 有 


Do 


Fa, X.) - 1] Kk as.. 


n=] 
因此 ， 


[e s] 


I[qQ40.X.-) && a.s.. (2.4.38) 
n=1 


由 引 理 2.4.1 和 (2.4.38), 有 


Jim exp(A Y X) 一 后 (Xm-1)]/am} 存在 且 有 限 a&s.. (2.4.39) 
m=1 


在 (2.4.39) 中 令 入 =1, —1, 可 分 别 得 到 


Jim exp{ ^ [fa cs) 7 B UG -1)]/a) 存在 且 有 限 as., (2.4.40) 
m=1 
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Jim. exp(- 9 20.) - 4X Ol/am] 存在 且 有 限 as. (24.41) 


"m1 


由 (2.4.40) 和 (2.441), 得 


(1fam)[ 所 (Xm) 一 本,(Xm-1)] 存在 且 有 限 as.. (2.4.42) 


m=! 


H (2.4.8), (2.4.7) 和 (2.4.36), 得 


Sow) lb < Cfam) Í. fed, ix, (rli) 


m-1 m=1 (z)|Sam 


° > W [em fm (0) / 9m (a )) Fx, ix. 1 (æli) 


< >Y Elom(fm(Xm))Xm-i 三 £I? (&m.); 


即 
Y Ajam Ji GE) S Y Elom fn Xm) Xm- = iem(am)， (2.4.43) 


m=1 m=1 


由 (2.4.43) 和 (2.4.29), 得 


S (las) G1) We as.. (2.4.44) 


m=1 


H (2.4.31), (2.4.42) 和 (2.4.44), 得 


Y Y. aa WR as, 


ml 
即 (2.4.24) 成 立 ， 利 用 Kronecker 引 理 由 (2.4.24) 可 得 (2.4.25). 利用 
O<e -lr<xe, —t< z <t, 
Hi (24.33) 和 (2.4.10), 得 
0 € Q4, i) - 1 € XP E(USUG)/asP Xs i = i). 


因此 
0€ OA X4 i) -1 € X2elMEI[/*(X,)/a,]2 Xn} (2.4.45) 
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设 (b) 中 的 假设 成 立 ， 因 为 当 |z| 递增 时 o2,(z)/z2 上 故 
z^ /az < pn 人 zj/pn(an)， 当 |z| < an- 
因为 在 (0,co) 上 vs (x) t, 得 
[fs (X,)/as] < es [fa UG on (as) < es (Y.)/es (as). 
由 (2.4.45) 和 {2.4.46), 得 
0 < Q., X, i) - 1 < [WA onlan) E[ps (Yo) Xa 4]. 


再 由 (2.4.47) 和 (2.4.29), 得 


Y IQ, Xn) 一 1] 收敛 a.8., 
n=l 


[| QnA, Xn) &st a.s.. 


n—l 


由 于 P(A(X)) = 1, 由 引 理 2.4.1 和 (2.4.48), 得 


Jim exp (À Y UG) 一 如 (Xm-1)]/am} 存在 且 有 限 as.. 
m=1 


类 似 {2.4.42) fa uEB], H (2.4.49), 得 


Mi 


[Fi Xa) - bP (Xm a1)]/am HA a.s.. 


一 1 


š 


设 
bali) = E(YalXna1 = J, n> 1. 


则 P(Y,|X, i) = bn(Xn-1). H (b) 中 的 假设 ， e| 递增 时 e,(z)/z t. fk 


[zl|/am < ex (z)/ mtm), 24 jel 之 üm- 


由 (2.4.8), (2.4.51) 和 (2.4.52), 得 


(amom h?) = EN = (Won) /本 四 一 成 asp- 有 


< (1/as.) f If (Id, ix, Coli) 
[fm (2) 52m 


(2.4.46) 


(2.4.47) 


(2.4.48) 


(2.4.49) 


(2.4.50) 


(2.4.51) 


(2.4.52) 
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< f lem fn) o (as Id Foe, xc... (oi) 
[fx (z)|>as 


< [Leo (am Eon Uf (Cs 1X 47i 
pn 


(1/05 )Ibrs (Xm 1) — 55 (X 11 < 1/o, am) Elo Um (X X k (24.53) 


由 (2.4.53) 和 (2.4.29), 得 


2o 


(Llam) bh (X1) ^ ba (Xs 1)] 48 as.. (2.4.54) 


rre 


由 (2.4.31), (2.4.50) 和 (2.4.54), 得 


DO 


ST G/a [fF X1) 一 bm(Xm-1)] If a.s., 


m= 


= 


BJ (2.4.26) 成 立 ， 由 Kronecker 引 理 ， 由 (2.4.26), 可 得 到 (2.4.27). 定理 证 毕 ， 

推论 2.4.1 dE (Xs), (Ya), {an} 如 定理 2.4.1 中 所 定义 . 设 {pn(z), n > 1] E 
定义 在 (0,00) 上 的 正 连 续 侦 函 数 序列 , 且 当 |z| 递增 时 ，wnfz)/jz| 非 减 ，pn(2z)/z? 
非 增 ， 假 定 (2.4.23) 成 立 ， 则 


SIE, - E(V,)]/as We as, 


n=1 
当 旧 仅 当 
Y (E(Y,IX, ,)- E[E(Y,|X, /an 收效 as., 
n=1 
(1/ax) Y [Ys — E(Y;,)] 2 0 a.s., 
m-1 
ABA 


(1fan) S (E(Ys| X,-1) — E[E(Y,,| X —1)]) 收银 as.. 
m=1 


证 由 于 E[E(Y,|X, .)] = E(Y,.), 由 定理 2.4.1(b). 即 可 得 证 推论 . 
下 面 的 推论 2.4.2 给 出 了 一 些 可 以 由 定理 2.4.1 推出 的 经 典 的 结果 (包括 Kol- 
mogorov, Marcinkiewicz, Zygmund 等 的 结果 ). 
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推论 2.4.2 Wr (Xs n z 1) 是 独立 随机 变量 序列 , (a n > 1}, {pn(z), n > 1) 
如 定理 2.4.1 中 所 给 ， 且 


Y Eles(z«))/en(an) < oo. : (2.4.55) 

(a) 如 果 当 |z] 递增 时 ， prfzjylz| 非 增 ， 则 
3 My as., (2.4.56) 
(1/a..) Y Xm — 0 a.s.. (2.4.57) 


m=1 


(b) 如 果 当 jel 38 81, nr(z)ylz| dEWR,  n(z)/s^ 非 增 ， 则 


Y'x. — E(X,)]/a, WS a.s., (2.4.58) 
们 一 1 
(l/a,) Y [Xm — E(Xm) > 0 a.s.. (2.4.59) 
ml 
证 设 

y = | kh,, 当 kh, < X, < (k + 1)ħn, (24,80) 

—kh,, 34 — (k + l)h, € X, < —kh, 

(k 20, n > 1), 此 处 (hs, n > 1) 是 正 数 序列 并 且 使 得 

Y ^ /a, < oo, (2.4.61) 


n=1 
则 (YV, /h.) 是 一 整 值 独立 随机 变量 序列 ， 因 此 (Y). 可 以 看 作 是 一 马 氏 链 活 画 . 
由 (2.4.60), 得 
Y, — X] < hu, n> 1. (2.4.62) 
因为 当 |z] 递增 时 ， Prlz) t, X [Yal < [Xal]; 由 (2.4.60), 得 
ex (Ya) < pn( Xa). 
内 此 由 (2.4.55), 得 
Y Eles(Ya)/en(a«) < oo, 


n=1 
即 定 理 2.4.1 中 的 条 件 (2.4.23}. 因此 ， 当 (a) 中 条 件 满足 时 ， 由 (2.424), (2.4.25), 
(2.4.61) 和 (2.4.62), 知 (2.4.56) 和 (2.4.57) 成 立 ; 当 (b) 中 条 件 满足 时 ， 由 (2.420), 
(2.4.27), (2.4.61) 和 (2.4.62), 知 (2.4.58) 和 (2.4.5) 成 立 . 
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82.5 非 齐 次 马尔 可 夫 链 的 渐 近 均匀 分 制 性 


本 节 中 我 们 研究 非 齐 次 马尔 可 夫 信 渐 的 渐 近 拘 匀 分 割 性 (AEP). B 3 HL RE 
序列 的 收敛 定理 给 出 这 种 信 源 的 二 元 隙 数 的 平均 的 一 个 极限 定理 ， 作 为 推论 ， 我 
们 得 到 对 任意 非 齐 次 马尔 可 夫 信 源 的 成 立 的 几 个 极限 定理 .最 后 我 们 得 到 非 齐 次 
马尔 可 夫 信 源 的 一 类 强大 数 定律 ， 并 证 明 一 类 非 齐 次 马尔 可 去 信 源 的 ABP. 本 节 
结果 见 刘 文 、 杨 卫 国 (1997b). 

É {Xn,n > 0) 是 字母 集 为 3 = {1,2,… NI 的 任意 信 源 ， {Xi,0 < <n) 
的 联合 分 布 及 想 对 篇 密度 分 别 鸭 


P(Xo = £o, , X4 = 24) = p(to,:-- , Za), mk € S, 0 < k < n, (2.5.1) 
falo) = -(1/n)Inp(Xo, --- , X5), (2.5.2) 

其 中 为 样本 点 ， 如 果 Gun > 0) 为 一 非 齐 次 马尔 可 夫 信 和 源 ， 其 初始 分 布 为 
(a(l), a(2),- t .a( NY), (2.5.3) 


转移 矩阵 为 
P, = (pa(i, 3))wxN, 1,j € S," 之 1, (2.5.4) 


此 处 pali j) = P(X, = j| Xa-3 = 3), M 


T 


p(zo,:: za) = q(zo) [ [xe za), (2.5.5) 
k=1 
falu) = - (L/n)[ne(Xo) + 3 ` Inpy(Xx.1, X4)]. (2.5.6) 


信息 论 中 的 一 个 重要 问题 是 fma) 的 极限 性 质 ， 即 信 源 的 渐 近 均匀 分 割 性 
(AEF). Shannon(1948) 首先 证 明 遍 历 齐 次 马尔 可 去 信 源 的 AEP. MeMillan(1953) 
及 Breiman(1957) 证 明 平稳 遍历 信 源 的 AEP. 这 就 是 著名 的 Shannon-McMillan- 
Breiman 定理 . Barron(1985), Chung(1961), Feinstein(1954) Æ Kieffer(1974) 推广 
了 Shannon-McMillan-Breiman 定理 . 

本 节 主 要 是 研究 非 齐 次 马尔 可 夫 信 源 的 AEP. 我 们 首先 利用 误差 序列 的 收敛 
定理 给 出 这 种 信 泽 的 二 元 函数 的 平均 的 一 个 极限 定理 ， 作为 椎 论 ， 我 们 得 到 几 个 
极限 定理 及 关于 相对 燃 密 度 的 一 个 强 极限 定理 ， 它 们 对 性 意 非 齐 次 马尔 可 夫人 入 源 
成 立 ， 于 是 ， 我 们 得 到 非 齐 次 马尔 可 去 信 源 的 一 类 强大 数 定理 ， 最 后 我 们 证 明了 
一 类 非 齐 次 马尔 可 夫 信 源 的 AEP. 
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定理 2.5.1 设 {Xn,n 2 0) 是 一 具有 初始 分 布 (2.5.3) 及 转移 矩阵 【2.5.4) 的 
dE BUR RDASDR, fale yn 2 1) AXE SxS Esiste, {an,n 1) 
是 趋向 于 无 穷 的 一 个 增 序列 ， 如果 


Ma EfZ(Xs u, Xn) < +00, (2.5.7) 
n=1 
则 
lm _ Y If (Xr, Xy) 一 E[fk (X... Xi) Xa-1]} = 0 a.s.. (2.5.8) 
T" k—1 
证 $ 
Y, = fa(Xx i, Xk) — E[fa( Xx 1 Xr.) X; 1], k > 1, (2.5.9) 


我 们 将 证 明 (Yek > 1) 是 一 个 揣 序 列 ， 事 实 上 ， 由 马尔 可 夫 性 ， 有 
E[fe( Xx -i, Xe) Ro: ,KE1] = Elfr (Xk, XX) Xk] as.. (2.5.10) 
因为 F(fi(Xs as Xe) Xa] X o (Xo, X41) 可 测 ， 故 | 
E(F|[fi( Xx, Xx) Xi-i]llXo,-- , Xii] = E(fa(Xx—) Xi) Xx—i] as- (2.5.11) 
出 (2.5.9), (2.5.10) 及 (2.5.11), 有 
E[Ys|Xo,--- ,X&-i] = 0 as. Ë > 1. (2.5.12) 
因为 o(Yo,-- , Yk-i) C o(Xo,-- Xa), 由 (2.5.12), 我 们 有 
E|V,|Yo Yk-1] = Ü a.s., k > 1. (2.5.13) 


故 序 列 {Yr k > 1} E — B 259. 
55 
E[f2UXx.-1, Xi) = E(E[fe(Xx—1i, Xx)|Xx—i] )- (2.5.14) 


由 关于 条 件 期 望 的 Jensen 不 等 式 ， 有 
E(E|f.(X,-i, X X: a]? € E(B? Xa, X) X41) = E[f2 (X, i, X,)]. 


(2.5.15) 
故 由 (2.5.15) 与 (2.5.7), 有 


Y a;  E(Efa( X» 3, Xn) Xi]? < Y az ^ EfA(X -nXa) «oo. (2.5.16) 


n=1 
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由 (2.5.7) 5 (2.5.16), 有 
Ma EY? < 十 oo. (2.5.17) 


n=1 


H (2.5.17) RATER ZIW ir ak oE BE ( 见 Chow and Teicher 1978, p.249), 有 


lim. 二 Y = 0 as. (2.5.18) 
n k=l 
由 (2.5.18) 5 (2.5.9), 即 得 (2.5.8). 
注意 ElSfr(Xr-1: Xr) Xr. i] = 3a fai 3)p&QG -1,3), W (2.5.8) 式 可 表 
m 


Jim DRC Xi) Y (Xi DOG) = lass — (519) 
n k=l j=1 
推论 2.5.1 设 {Xn,n 20) 是 如 上 定义 的 非 齐 次 马尔 可 夫 信 源 ，7(c, 切 是 定 

义 在 Sx S 上 的 任意 函数 ， 则 


Jim (1/5V2**) SAF (Xe, X.) — DXi TF)prC Xe-1, 7)} = 0 as. (2.5.20) 
k=1 j-1 


WE 因为 EJ(X, a. Xe) < maxi;es P (3), k > 1, SC 


A EX, 4, Xa) av 1 
2, — E < 87 6 放 2 Tia T 99 
由 定理 2.5.1, (2.5.20) H (2.5.19) 得 到 . 
推论 2,5,2 设 (Xn 20) 是 如 上 定义 的 非 齐 次 马尔 可 夫 信 源 ，JE 9, 并 
4 Saliw) 是 序列 Xo(w), Xile) ,Xn-1(w) 中 了 的 个 数 ， 即 


了 一 1 
Sy (ju) = 》 (Xal), (2.5.21) 
k=l 
pi 4 
m (1/n!7**)(5, (3,4) — S p. (X1-1,j)] = 0 as.. (2.5.22) 
k=1 


证 在 推论 2.5.1 中 令 fir y) = 6 (u),z,y € S, 有 


> [r0 - m 


k=1 t=1 
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7 


一 》 faxa 一 Yanu) 
t=1 


k=1 
= S,(J,2) + Xn) — ó; (Xo) 一 Y nO.) (2.5.23) 
k=1 
由 推论 2.5.1 及 (2.5.23), 即 得 (2.5.22). 
推论 2.5.3 W (X,,n 20) 是 如 上 定义 的 非 齐 次 马尔 可 夫 信 源 ，i,7 E 5, 并 
令 Sanli jw) 为 序 偶 序 列 (Xo, X1), e , (X. n—-ls Xan) ÞES (š, i) 的 个 数 ， 即 


Sali jw) = Y^ 500 0509). (2.5.24) 
k-1 
则 
lim (1 [nV?**) ls hw)- X & Xy ip h =0 as. (2.5.25) 
k=1 


证 在 推论 2.5.2 中 令 f(r y) = ó(z)ó;(g),z,u € S, 有 


Y [re - Y TT 
k=1 ¿=l 
n N 
= ` Le 一 > Pnt 


= Sa{i jw) Va UG i)p (š, j). (2.5.26) 
k= 1 
由 (2.5.26) 及 推论 2.5.1, 即 得 (2.5.25). 
定理 2.5.2 设 [X50 > 0) 是 具有 初始 分 布 (2.5.3) 及 转移 矩阵 (2.5.4) 的 非 
齐 次 马尔 可 夫 信 源 ， {fn(w),n 2 1} 是 其 相对 丧 密度 序列 ， 五 (pl1,… ,PN) 是 分 布 
(m ,PN) Bod, Bj 


N 
H(p pu) = — > pi Ip;. 


则 对 任意 的 < > 0, 


lim nP faw) 一 TSJ H[ps(Xsg-1,1),:-- ,pu(Xu—i, N)]] =Ü a.s.. (2.5.27) 
k=1 


证 在 定理 2.5.1 中 令 felz, y) = In p(z, y) 并 注意 


E(In px(Xk_1, Xx)? = 35: i-i) y Onn (i, JP peli j) < 4Ne 2, 


i—1 j=l 
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及 
c E(Inpi(X 1, X4)) 2 
X ERE 4Ne- Y qne < +oo， 
n=i n=1 
由 定理 2.5.1, 有 
N 
lim — z un CEN (Xl, Xk) - Miss) Inpy(X4—1,7)) =0 a.s.. 


jc 
(2.5.28) 


由 (2.5.6) 及 (2.5.28), 并 注意 
N 
Hlpx(X&—i,1),:- Pr Xr N)] = — oras) Inpr( Xk-1 J), 
j=1 


即 得 (2.5.27). 

定理 2.5.3 设 IX,,n > 0) 是 具有 初始 分 布 (2.5.3) 及 转移 矩阵 (2.5.4) 的 非 
齐 次 马尔 可 夫 信 源 ， S.G) 与 S%.(i,j,w) 如 前 定义 . W fey) 是 定义 在 S x S 
上 的 任意 函数 ， ffz) 是 定义 在 区 间 [0.1] 上 的 连续 函数 ， 使 得 


lim zg(z) = AAR), E |z9 (e) < M, z € [0,1]. (2.5.29) 


it P = (p(i,j)) 是 另 一 个 转移 矩阵 ， 且 P 不 可 约 . 如 果 


Am i YU its j) p(üj)|=0, V je s, (2.5.30) 
则 
(i) fino Sn) a a.8.; (2.5.31) 
la quem Dew) _ qi . 
(ii) Jim —A = mip(ij) a.s; (2.5.32) 
n N N 
1 ` xL 
(ii) lim. - > Fai X.) = M m MFG j)p(a,j) as. (2.5.33) 
k=] ici j=l 


. . 1 n N N - 
(v) lim a 2 tin Ui 3921 2m 2 p i,j)g|p(4 j)) a.s.. (2.5.34) 
此 处 (0,72, ;TN) 是 被 转 移 矩阵 P 决定 的 惟一 平稳 分 布 . 

(Gi) AER. 由 定理 2.5.1 的 推论 2.5.2, 有 


Jim [Ss Gs) 一 Sp (X. =Ü as.. (2.5.35) 


k-t 
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因为 
n n N 
Pris) = 35 3 LAO as j)pa 3), 
k=1 k=i k=1 
由 (2.5.30), 有 
n N 
im |z D (X,-)(G,3) — B9 
k=1 i=l 


N n 
<Ý lm - Y peli j) pG, j) =0, 
z=1 k-t 
由 (2.5.85), (2.5.36), (2.5.37) 及 (2.5.21), 有 


C w)p(i, j) 


Mz 


olg 
Jim [755 (hw) — 


M 
= 


i 


LY Xk-i)(pK(1,j)— plij) =Ü as.. 


= im y 
k=1 i=1 


用 plj, k) FÆ (2.5.38), 将 它们 对 jE S 求 和 ， 并 再 次 应 用 (2.5.38), 得 


0= > j,k) lim Ls (w) — yis n (i w)p(i, j) 


Salk, w) 


= mE Sdn) ) pr ,k) 一 — J 


N N 
+ lim Ss) yy 569 (i jPK) 


J=1 i=l 


_ f S, (kw) N Su (fw) (2) 
ne —— —pV"(ük) as, 


其 中 也 (及 (为 一 整数 ) 是 P 的 1 步 转移 概率 ， 由 归纳 法 ， 有 


noo £ 
i=l 


MH (2.5.35), 有 


n— o 
i—l 


N P 
lim pnm -5 Bx) yang, k)]-0 as. 


tim [55 5:2 e. ,u) -PSEA Spg, k)]= 0 as. 


.75. 


(2.5.36) 


[2.5.37》 


(2.5.38) 


(2.5.39) 


(2.5.40) 


(2.5.41) 
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因为 
Yen; k) = rk, 


E YF LS, w))/n = 1, H (2.5.41) 5 (2.5.42), 即 得 (2.5.31). 
(ü) 的 证 明 ， 由 定理 2.5.1 及 推论 2.5.2 有 


um m 


Jim. tsai jo) - QAO n6) -0 as. 
由 (2.5.30), m 
dim a EQ -p61 = 0. 
由 (2.5.43), (2.5.44) 及 (2.5.21), 有 
d je) - 15, G,]p(G, 


im. 


= lim ~ PL (¿j)—p(,j)) 20 as. 


n—ooT" 


由 (2.5.45) X (2.5.31), 即 得 (2.5.32). 
(ii) 的 证 明 ， 由 (2.5.24), 有 


由 (2.5.32) 及 (2.5.46), 即 得 (2.5.33). 
(iv) 的 证 明 . 令 


_ Í zae}, 0<z<1, 
ra= A, z =0. 


H (2.5.29), f(z) 在 区 闻 [0,1] 中 连续 ， 因 为 [zg?(z)| < M,z € [0,1], 故 有 


(2.5.42) 


(2.5.43) 


(2.5.44) 


(2.5.45) 


(2.5.46) 


E|g^ (ps (Xx, X4))] = Y P0 1— Y eG. (53)pk(53) < MN, 


j=1 


第 二 章 ” 非 齐 次 马尔 可 夫 链 的 强 级 限定 理 OTI 
由 此 有 
~“ 1 2 NM 
M za Elo (Oi X) < y` uw < =. (2.5.47) 
n=1 


由 (2.5.47) 及 定理 2.5.1, 有 
N 
im Ly (otv. (G- t Xx)) - Y g(pr(Xr—-1,i))Prl(Xr-1:3)} = 0 a.s.. (2.5.48) 


k=1 j=1 


n N N N 
|š y` Dg(pr X3)» OG 4) 一 Y i Y ` g(p(š, j))p(š,3)] 
k= 


1j=1 i=1 j=1 


M. 
[2 i 
M> 


Á, (Xk i) 3) p (5 3) — 1y:Y 3 408- 1)g(p(š, ed, 3) 


k=1 j=1 i=1 k= n 1 +=1 


n N N 
I$ Y Y A08) 1)g(»(à ipi 3) — 3:293 70 )p(5.3)| 


k=1 j=1 £=1 i=] j=l 


+ 


IA 
Me 
E 
EU 


> lg(px (à 3p (š, 3) — g(p(i, j) M, 3) 


izlj- 
Eie. i, j)p( 3) - Yan. 1) ~ "|, (2.5.49) 
由 (2.5.30), 引 理 2.3.3 及 f(z) 的 连续 性 ， 有 
Hm clon 5j)s(G3) -9(0(,3)/(531 20, vies. — (2550) 
由 (2.5.49), (2.5.50) 及 (2.5.31), 有 
sts imus = Yin Delite) as. (2.5.51) 


由 (2.5.48) 及 (2.5.51), 即 得 (2.5.34). 

最 后 ， 我 们 证 明 非 齐 次 马尔 可 去 信 源 的 AEP. 

定理 2.5.4 设 (X,,n > 0) 是 一 非 齐 次 马尔 可 夫 信 和 源 ， P = (plij) 及 
(ma ,r4) 如 定理 2.5.3 所 定义 . Wb falu) 是 由 (2.5.6) 定义 的 (X, 0 S k E n] 
HHRH. dn. (2.5.30) 成 立 ， 则 


N N 
Jim fa(9) = -$ mY (ü, j)Inp( j) as. (2.5.52) 


š=1 j=1 
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证 在 定理 2.5.3 中 令 g(X) = — In X, 易 知 (2.5.29) 成 立 ， 根据 定理 2.5.3, 由 
(2.5.6) 与 (2.5.34)， 即 得 (2.5.52)， 


92.6 非 齐 次 二 重 马 尔 可 夫 链 的 若干 极限 定理 


本 节 用 分 析 方 法 研究 非 齐 次 二 重 马 氏 信和 源 的 若干 极限 性 质 ， 得 到 了 关于 此 种 
信 源 三 元 函数 一 类 平均 值 的 一 个 极限 定理 、 作 为 推论 ， 得 到 了 关于 任意 非 齐 次 二 
重 马 色 信 海 均 成 立 的 见 个 极限 性 质 和 关于 非 齐 次 二 重 马 民 信 源 相对 痛 密 麻 的 几 个 
极限 性 质 ， 将 Shannon 定理 推广 到 非 齐 次 二 重 蕊 氏 信 和 源 的 情况 ， 参 照 本 文 的 有 关 
绪论， 不 难得 出 一 般 非 齐 次 m 重 马 氏 信 源 的 有 关 极 限 性 质 . 

E (Xon > 0) 是 字母 集 为 5 = {1,2,.… N} 上 任意 信 源 ， 其 联合 分 布 为 


P(Xo = tp '-- , X, = En) = p(t0 ,Tn), Z; € S, m > 0. (2.6.1) 


3 1 
falo) = -z inp Xo ,Xn) (2.6.2) 


A [X40 í < n) WRAAE. IR {Xan 2 0) 是 非 齐 次 二 重 马 氏 信和 源 ， 其 二 
维 初始 分 布 与 转移 立方 和 矩阵 列 分 别 为 


q = [qG,j).;,3j € Sh, (2.6.3) 
aP = (phil) LLES nl, (2.6.4) 


其 中 ez 了 = P(Xo = i, X1 = jJ), Panli ji) = P(Xn+1 = 由 = j X, 1 = i). 则 
n—1 


p(zu, ,Tn) = g(Zo, 21) II Py (Z&—1, Tks 241), (2.6.5) 
k=1 


所 一 二 


falo) = -2 Ina( Xo, Xi) 十 Senece) . (2.6.6) 
k=1 

关于 Shannon 定理 的 研究 是 信息 论 的 一 个 重要 问题 (参见 Barron 1985 及 所 
引文 献 ), Hj m 重 马 氏 信 和 源 是 一 类 非常 重要 的 信和 源 ， 如 语 声 、 电 视 信 号 等 往往 是 
m 重 马 氏 信 源 、 本 文 的 目的 是 要 给 出 二 重 马 氏 信 源 三 元 消 数 平均 值 的 一 类 极限 定 
B. 作为 主要 结果 的 推论 ， 得 到 了 非 齐 次 二 重 马 氏 信 源 相对 炳 密度 的 几 个 极限 性 
质 ， 将 Shannon 定理 推广 到 非 齐 次 二 重 马 氏 信 源 的 情形 , 

定理 2.6.1( 杨 卫 国 、 刘 文 1999) 设 {Xn,n > 0] 是 具有 二 维 初始 分 布 (2.6.3) 
和 转移 立方 矩阵 列 (2.6.4) HERK ESEA, fale, y z)(k = L,2,...) 是 定 
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LE s? 上 的 一 列 三 元 函数 . 如果 do > 0, 使 对 所 有 Le S, 有 


n—i 


b.(D) = limsup n max — 33»: j Dp (i, jp ertijD| < 十 oo， (2.6.7) 
则 


n-t 
L ， 
Jim = 2 Una Xi Xie) — E[fs( Xx, Xi, Xi) X1, X4]) =0 as.. 


(2.6.8) 
注意 到 


N 
E|fe(Xx 42, Xi Xie iM Xr- X2] = Y feci: XK. pr (X. X83), — (2.6.9) 


= 


(2.6.8) 也 可 写成 如 下 形式 : 


"-1 
Jim. a 2, 0- ls XX) - 32A Xy Xi j)ps(Xa-i.Xg.3)] = 0, as. 


j71 


(2.6.10) 
证 RiR (0,1) F, P) 为 所 考虑 的 概率 空间 , 其 中 下 为 区 间 (0, 1) 中 Lebesgue 
TEL, P H Lebesgue 测度 . 首先 我 们 给 出 以 (2.6.3) 为 二 维 初始 分 布 ，(2.6.4) 
为 转移 立方 矩阵 列 的 二 重 马 氏 信 源 在 此 概率 空间 的 一 种 实现， 我 们 就 这 个 实现 来 
证 明 本 定理 . 
设 9(i) = Yi a(oi) i € S. 将 区 间 [0,1) 按 比 例 q(1) : 9(2) : … : a(N) 分 成 
N 个 左 闭 右 开 的 区 间 ， 


Di = {0,9(1)}, D> = [a(1), a(1) + g(2)),… , Dx = [1 — a(N), 1), 


AB a) = 0, 则 定义 D, 为 空 集 ， 这 些 区 间 称 为 零 阶 区 间 ， 记 为 Dzo,zo = 
1,2,.-., N. B Den PEZE, H D., 按 比例 fen: q(z0,2) : .… : q(zo, N) 分 
成 N 个 左 闲 右 开 的 区 间 ， 依次 记 为 D. m = 1,2,.… , N. ,并 称 为 Lj, H 
中 车 glen, i) = 0, 则 规定 D; 为 空 集 ， 易 知 


P(D:,z,) = q(To £1), zot: E S. (2.6.11) 


一 般 地 ， 当 n > 2 时 ， 设 N 个 n 阶 区 间 {Drent € S,0 < í < n) 已 经 定 
X, E Dons 不 是 空 集 ， 将 Dux 按 比 例 pn(Tn_1 En 1) : pa[Za- 1 Tn, 2) ttti 
Pa(Zn- t Zn, N) 分 成 N 个 左 闭 右 开 区 间 ， 记 为 D.,...nama+1 intl 一 1， 2, ,N, 其 


- 80 . 强 偏差 定理 与 分 析 方 法 


中 著 Prn(Tn_1' Tni) = 0, 则 规定 Dui AUS, 这 样 就 得 到 n +1 tr ËB]. 当 
n228, EI 


他 一 


P(D;,...s,) = q(zo,21) II Pk(2&—1, 2k, k41). (2.6.12) 
k=l 


xÍ n > 0, 定义 随机 变量 Xn: [0,1) — S 如 下 : 


X,(u) = En, H w € Dis. (2.6.13) 
由 (2.6.11)—(2.6.13), 有 
{w : Xo = to, , Xa = 24) = Dos (2.6.14) 
P(Xo = £o, X1 = 21) = q(zo,21). (2.6.15) 
34 n > 2 时 有 
P(Xo = Lo, , X4 = 24) = aleo,21) [T ostii mea (2.6.16) 
k=1 


H (2.6.15) 与 (2.6.16), 知 {Xn n > 0) 构成 一 二 重 马 氏 信 源 ， 其 二 维 初始 分 布 与 转 
移 立 方 矩阵 分 别 为 (2.6.3) 与 (2.6.4). 

为 了 以 下 证 明 的 需要 ,我们 先 来 构造 一 个 回 助 通 数 . 设 各 阶 区 间 及 区 间 [0, 1) 
所 成 的 类 为 A 为 非 零 常 数 ，i€ S 为 固定 的 状态 ， 简 记 fs(zs-i, mel) A fs. E 
人 上 定义 集 函 数 a F: Wk Duos, 是 nn 阶 区 间 ， 当 n>>2 时 ， 令 


n—l 


n(D.,..=..) = expí(À >` fxói(ma+1)1 


k=1 
n=l 1 


: II Ë + (e^fs 一 vd P(D,,...z, ) 


k=1 
其 中 (= 二 1,2,.… N) Æ S Ef Kronecker A% Lẹ 


N 
B(Dzosi) = >` B(D:zima hh (2.6.18) 


m2=1 


(2.6.17) 


N 
p(Da,) = X, A(Dsor,), (2.6.19) 


fic] 
N 


u(0,1)) = Y^ n(D..). (2.6.20) 


Zg-i 
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x4 n > 2 时 由 (2.6.17) 与 (2.6.12), 有 


N 


Y (Das us) 


24—1 


N 
一 n(D.,.... i) > | 1 + (eMa-1 一 l}Pn-1(£n-2, Zu-li D 


- (Dosana) P + E [e = lni nin] 


inci asl 1+ (eòfn-1 一 1)pn (2n-2, 2n-1,l) 


= (Das n.i) [ers pc E T mae mad 
ZotTa-l 1+ (eòfn-1 — l)pa-i(£4-2;Ta-1: D 
COM Dass i) (2.6.21) 


由 (2.6.18)—(2.6.21), 知 p Æ A E B np rdi on 3. 由 此 知 存在 [0, 1) 上 的 增 函 数 fx. 
使 得 对 任何 Deis 有 


IDs, ) = PAD au) 7 fA); (2.6.22) 
其 中 Diae, 与 DL. 分 别 表示 Dao. 的 左 、 右 端点 ， 令 


ROG fno) _ Blaan) 


tnl w) = ~ 二 ; 
OT Dh, Dac. P(D.,.....) 


w € Dasan- (2633) 
设 fs 的 可 微 点 的 全 体 为 4(2%, 站 ,由 单调 函数 导数 存在 定理 知 P(A(A,D) = 1. W 
w € A, D, B w € Das, (n = 0,1,2,:..). Æ limo yo0 P(Dz, s) = D > 0, WJ 


im tn(X,w) = Jm B( Da... )/ D < too. (2.6.24) 


车 lim yo P(D4,..,) = 0, 则 根据 导数 的 一 个 性 质 ( 参见 Billingeley 1986, p.423), 
由 (2.6.24), 有 
Jim talà, w) = fi(u) < +oo, (2.6.25) 


所 以 由 (2.6.24) 与 (2.6.25), 有 


limsuplntn(A,w)/n < 0, we A(A,0). (2.6.26) 


T—HOO 


H (2.6.23), (2.6.17), (2.6.12) 与 (2.6.13), 有 


1 À n-i 
=Intn(N,w) = = > fx[Xk—-i, Xr, 06041) 


. 82. 35 4] E 4E ER 5 75170 1E 


n-1 
- - Y info (exo fi Gas Xi D) — Doi (Xu, XD], w € (0.1). 
k=1 


(2.6.27) 
# (2.6.27) "P fif ia f (X. i. X8.) 为 fro p( Xx, X4,1) X pi. HH (2.6.26) 与 (2.8.27), 
有 


LIB EM 一 二 iun + (eM* 一 ol) «0, o € AQ, i). 
E (2.6.28) 
H À > 0, 在 (2.6.28) 两 边 同 除 以 和 得 


limsup — HS fei Xk+) 一 P D ln[1 + (exe 一 npa} <0, we A(A.). 


(2.6.29) 
H1 (2.6.29) 及 上 极限 性 质 
limsup(a, — bn} < 0 一 > limsup(a, — c4) < lim a sup(bn — cn), (2.6.30) 
及 不 等 式 
I(1+z)< z, (r1), (2.6.31) 
ez — 1 — z < grell, (2.6.32) 
有 
n.l 
lim ASUP = S feb Xi) 一 > fn] 
n-—1 
< limsup - Y i In[t + (e — 1)»,] 一 fas] 
< limsup = m 3». Pkt ef 一 1 一 和 及) 
< Alimsup — 23 fip. ^^, w € AQ. (2.6.33) 
no0 k=l 
x A <a, di (2.6.33) 5 (2.6.7), 有 
n-l 
lim 1sup = > Fedil X i) 一 > f 
< Alimsup 二 iy fipye?l ^! < Abal, we A(LD. (2.6.34) 


nao n = I 
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取 àg € (Da), k = 1,2,--.., ff Àp — 0, (k — co), 并 令 A*(0 = (Y, Alr D, 则 对 
所 有 的 六 H (2.6.34), 有 


lim sup — J Aia) 一 S fn < Mb.(D, w € A*(D. (2.6.35) 


k=1 


由 于 As — 0,(k — o0), 故 由 (2.6.35), 有 


lim sup — E fA Xk+) — Y | £0, o € A'(I. (2.6.36) 


k-1 
Wt À < 0, 将 (2.6.28) 两 边 同 除 以 A, 得 
lim inf ~ 3» fifi Xy i) — XL (ef 一 nl] 20, o € A(A,L). (2.6.37) 
由 (2.6.37) 及 下 极限 性 质 
liminf(a,, 一 b.) 2 0 = lim inf(as 一 en) 之 liminf(b, = cn), 

及 不 等 式 (2.6.31) 与 (2.6.32), 有 

n—1l n—l 

liminf = 位 ie - 33 fin) 
k=1 k=1 
n-1 


. ..1 1 
> lim inf y` (int + (e^ —1)pk] — fun) 


k=1 
13m 
. ñ ` PR Afr u u 
d: r2» xe -1-A4) 
n-1 
"e 2, Af 
d: r2» fime M, w € A(A 1). (2.6.38) 
35 A €(—0,0) 时， 由 (2.6.38) 5j (2.6.D), 有 


liminf — 1 fêl Xr) 一 Y fn) 


k—1 


> X] nf — 2 cife} 
> Alim inf = 32 Jope) > Abali}, w € ACD). (2.6.39) 


Bt Tk € (70,0), k = 1,2, WE n, 2 0, (k — so), 3E AL) = D. AQ, 则 对 
所 有 的 天 HH (2.6.39), 有 


. i n—1 
liminf — > Frl X.) — pr] > b, (1), w € AL). (2.6.40) 
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由 于 rk — 0,(k — oo), WH (2.6.40), 有 
n-i 
liminf 2 Xx fk [(X i1) 一 Ph] 20, we A.(D. (2.6.41) 
k=1 
令 A(I) = A“(D n A, H (2.6.36) 5 (2.6.41), 有 
n-1 
Jim - X fr (Kil Xi, Dé X41) — Prl Xr-1: Xk D] 20, e € A(D. — (2.6.42) 
k—1 
$ A= YS, A(D, 注意 到 
N 
falXr-1, Xi, Xk+) ADM (Xx-u Xi, Dp (X. i, Xi, D) 


N 
=} fr (Kris Xi D&( X k41) 一 3 AG 1s Xi Dpk( X3, Xi, D) 
t=1 t=1 


= Y f(X, Xr D Xet) — PX as Xr DJ. (2.6.43) 


L=i 


H (2.6.42) 5 (2.6.43), 有 


n-—l 
Hm = 5 {ne 1: Xk, Xk 1) 一 IA (Xy 1, Xi; Dpe(Xik—i, Xn t) y = 0, w € A. 
P= m: (2.6.44) 
由 于 P(A)= 1, 故 由 (2.6.44), 知 (2.6.10) 成 立 ， 证 毕 . 
推论 2.6.1 i {X,n 20) 是 一 非 齐 次 二 重 马 氏 信 源 如 前 定义 ， 万 他) 是 由 
(2.6.6) 定义 的 相对 篇 密度 ， 则 有 


n-i N 
Jim AE u) + — Ly Y po 1 Xy, D Inpa(X4— cx =Ü as. (2.6.45) 
| t=1 
证 在 定理 2.6.1 中 令 fi(z,y,z) = —Inpa(z,y,2), E o = 1/2, 这 时 由 【2.6.6)， 
有 


1 
XL Xk-1, Xk, X41) 一 3 AO. 1s Xr, Dpr Xk- x0) 


1 i=l 


-1 
1 
= 一 Y lnscn * E rKin Dl Qc 


k-1 Ii 
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n—l N 


1 1 
= =al Xo Xy) fa) — > Dpi Xun Kid) In pitis Xa, D: (2.6.46) 
另 由 不 等 式 
(mnzy2rl2 < 16e 2, 0 < z <1, (2.6.47) 
WES 有 


n—l 
. 1 . mB v. 1 s 
bi 2 (D) = lim sup max = 2 inpli, 0)] p exp{3| In peli, j, D|} 


= lim sup max — i S apii Ppi J)'7 < 16e (2.6.48) 


n-o0 ^ 


由 (2.6.46), (2.6.48) 和 定理 2.6.1, 知 (2.6.45) 成 立 . 
推论 2.6.2 设 {Xn n > 0) 是 一 PUR 氏 信 源 如 前 定义 ， 5%(i,7) 是 序列 


(Xa, X1), (X1, X3), e SQ (Xn 2; X. H G, j) 出 更 的 次 数 ， Bp 
n—1 
Salij) = Y 6 (X, 4i)6; 00), (2.6.49) 
n=1 
ju 
， Blii) j) 
Jim E GG )pRCXk1,53)| =0, a.s.. (2.6.50) 


证 在 定理 2.6.1 中 令 fx(m,v,z) = dily) 5n fele y z)h R = 12, -- Wi 
足 定理 2.6.1 的 条 件 (2.6.7). 这 时 


n- N 
15 > IL Xy Xori) — $ fX, Xe Dau] 
k=1 


k= {=1 


"n—1 
= D9 fa GG; X a) 一 Y (X46 (Qn. xD) 
k= 


t=1 


， - n—1 
= OG OG) FEY | Sali) a 2; OQ) 
(2.6.51) 
由 (2.6.51) 与 定理 2.6.1, 可 知 (2.6.50) R. 
推论 2.6.3 W {Xn n > 0) -EAR ESR AMMEN, Sali ji) 是 


序列 (Xo, X1, X2), (XI, Xa, X3), ttis (x. —23 Xn-1, Xn) 中 (4,5,0) 出 现 的 次 数 ， 即 


S.G, 5,0) = Y (Xk-1)65 X0 Xk+), (2.6.52) 
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则 


n-oo 


lim [etan _ 1 (X. li, j J =0 as. (2.6.53) 
k=1 


证 在 定理 2.6.1 中 令 fz,v,z) = 5(z)8;()4(2), k — 1,2,…, 则 有 


n—1 N 
= Z [n0 mn) 一 Yapa Xeon Of Xo] 


k=1 %=1 
n—l n-1 N 
一 > $5 &(X, 16 00)8 04) - L y` 35 &G-1)5; 0) p X Xr v) 
k=1 k=1 4 一 1 
©’ n—-i 
- 1 BG 009.4). (2.6.54) 


B5 Fele yz) W E AKTE (2.6.7), 故 由 定理 2.6.1 与 (2.6.54), 知 (2.6.53) 成 立 . 
设 


P = (nG, j,t)), üjtes (2.6.55) 
^H —8* Hg. ELZEN F. 


P = (p((i5 3. (s.£)), (53) (5.0 € S?, (2.6.56) 
其 中 
— p(i. j, t), j= s, 
(p.s) | O, 了 (2.6.57) 


# P 为 转移 立方 阵 P 所 确定 的 二 维 转移 阵 . 
引 理 2.6.1 设 二 维 转移 矩阵 P 是 由 转移 立方 阵 P 所 确定 的 ， 如 果 五 RA 
历 的 ， 则 P RERA, Bu 


(1(53). (532€ S? (2.6.58) 
是 五 所 确定 的 平稳 分 布 ， 则 
N N 
dim pi, jt) — p(f) = 9 (s.t) = 7 alt, s), (2.6.59) 
3 一 1 aci 


i,t ES 成立 其 中 


N 
peti it) = $ pf? (i, 5, Dp(a,1, t). (2.6.60) 
{=1 
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(£s En). 则 (s.n > 0} 构成 一 二 维 马 氏 链 、 其 二 维 转 移 矩 阵 为 POBTUEHR 
1978, p.82). it p? ((4 j), (s.t) 是 P 所 确定 的 n 步 二 维 转移 概率 ， 笛 于 P RR 
历 的 ， 故 存在 平稳 分 布 (2.6.59) 使 

Jim Pla = (s,t)|m = (55) = lim. p(%((š,j),(s,0)) = rist), (8), (8t) € S^, 


"250 


(2.6.61) 
于 是 由 (2.6.61). 有 
dap ht) = Dim, Penes = tho = 6 = j) 
N 
= lim 3 Plen = bén = slo 8 =i) 
a=1 
N 
= lim Y. Plh = (sm = (53) 
3 一 1 
N N 
= lim > pG 3) (5.5) = 》 nls,d) 
$—1 s—1 
= plt), ijtes. (2.6.62) 
同 理 可 证 
N 
Jim p™(i jt) = p(t) = $ nlt, s). (2.6.63) 
^oc = 


引 理 2.6.2 设 五 是 由 转移 立方 矩阵 P 所 确定 的 二 维 转移 矩阵 .如果 P 中 
每 个 元 素 均 大 于 O, 即 


P = (p(i,j,t)), piht 20, jt e€ S, (2.6.64) 


则 P 是 遍历 的 . 
证 {Enn > 0) fü (n. > 0) tu[8]S[ £8 2.6.1, 其 转移 立方 矩阵 和 二 维 转移 
AH pE A34 P 5 P. H v(¿ j). (s.t) € 952 有 


p? (3), (s,£)) = P(m = (st)h = (i, j)) 
= Plé2 = s,&s = tl£o =s, = j) 
= P(£s = tli = j £2 = s)P(Ea = si£o = ü& = 3) 
pÜ, s, Dp(š, j, 8) > 0. (2.6.65) 


由 王 梯 坤 1978, p.86 知 P RETI. 
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定理 2.6.2{ 杨 卫 国 、 刘 文 1999) Wb (X,,n 20) 是 具有 二 维 初始 分 布 (2.6.3) 
和 转移 立方 矩阵 列 (2.6.4) 的 非 齐 次 二 重 马 氏 信 源 ， Sali j), Anli jt) 如 前 定义 ， 


fale) 为 其 粹 密度 序列 。 设 


(2.6.66) 


(2.6.67) 


(2.6.68) 


(2.6.69) 


= (pG, j b) 
为 另 一 转移 立方 矩阵 , 假设 王 所 确定 的 二 维 转移 矩阵 P 是 遍历 的 . 如 果 Vi,j,! & S, 
有 n 
im L Y pliid) - 965,01 =o, 
k= 

则 有 

1° dnce —m(ij) as. 

2? lim 2 ra hr d = p(i,j,l) a.s. 


N N 
3* dim fr(w) = -Y:X «6 26,50 Ing(,j,l) as 


i-1 ;=1 1=1 


其 中 (z(ü j) je SY 是 五 所 确定 的 平稳 分 布 . 
证 1° 由 (2.6.50) 有 


Sal ) 15 1 Ar 
ja (562 nli -59 2 50063) 1 eu) =0 as. 


k=l {=1 


Jim a |> Fa- iK) d, j) — pli i .))| 


k=1 t=1 


N 
«2m TX i j) — pii, i, 3)| = 0. 


由 (2.6.72) 5 (2.6.71) 并 注意 到 (2.6.49), 有 


N . 
sa (582 - 5090) 


i-i 


n—1 N 


= dim 13 Y OG OG) - 00553) = 9 as. 


k=1 {=1 


[2.6.70) 


(2.6.71) 


(2.6.72) 


(2.6.73) 
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由 (2.6.73) 与 (2.6.57), 有 


1256 n 


(4,2)c 5? 


lim (562 -5 Salla) 9l s), G, >J =0 as Yli j) ES. (26.74) 


将 (2.6.74) 的 第 (5,3) TATRA pili 7), u) 然后 相 加 ， 并 再 利用 (2.6.?4), 有 


0= E plii) Gos) im. (aga. Y. 962,056, 


T 


(43)esa (Lac 9? 


= lim | X Sedna y - S80 


(441€? 


noe (1,8)€E52 (NES? 


oo n 


= lim [sea Y So as.. 


(1,s) ES? 
由 归纳 法 可 以 证 明 
lim Suv) _ y` S : T9 09 ((, s), (u, > =0 as. 
nos n 


(i,)e S2 


由 于 
Jim BT 8),(u,v)) = 2(u,v), V(l,s) e 8°, 


由 (2.6.76) 5j (2.6.77), 可 得 (2.6.68) 成 立 . 
2° 由 (2.6.67) e 


TL (XX 1)5; Xx) [ox (i, 5. D) — pli, 5,0] = 0. 


由 (2.6.53) 与 (2.6.78), 有 
lim | 22. Saij) pi, $0) 


n-on 


T nda LY KOB lih) 95,0] -0 a.s.. 


由 (2.6.68) 5j (2.6.79), 即 得 (2.6.69) RX. 


| 


+ lim [se»- y 569 y Hp. eo) 


(2.6.75) 


(2.6.76) 


(2.6.77) 


(2.6.78) 


(2.6.79) 
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3° 设 (2.6.67) 成 立 ， 由 杨 卫 国 (1993) 知 


n—i 
lim x 2 [peti Dn. poh) inp .D| - 0, Vi jleS. (2.6.80) 


HT m 

1 — 

"和 

1 n-lN N 

= 5242, 2, 8085 1)6; XO Yt ij, Dan pi, ; D, (2.6.81) 
由 (2.6.81), 有 
|f.) Y rn D» i,j D Inp(s, 2, D| 
i=l 7 一 1 


n-1 N ! N 


N 
sf) 2. > ó (X, 6; Xm sj, D In pk (i, j, D| 


rrr x 2^ 508-08 (Xx) - sti j) Yu DInp(i, D| 
< |fa{w) + - Y Sm In pe(Xx 1, Xr 1)| 
2»»»3 3 > IpkG, j, t) In pe (5, 3,1) — p, j D In pli, j, D| 
ij - 
XE -Sali j) — 1(,3)|- [Sa (i, j, ) Inp(i,j,D |. (2.6.82) 


由 (2.6.82), (2.6.45), (2.6.68) 与 (2.6.80), 可 得 (2.6.70) 成 立 . 
推论 2.6.4 设 (X,.n20] 是 一 齐 次 二 重 马 氏 链 ， 其 转移 立方 矩阵 为 


= (p(;,J.t)), p(631t) > 0, 4j.te S, (2.6.83) 
则 存在 S? 上 的 一 分 布 
{ri (53) € 5), (2.6.84) 


使 定理 2.6.2 的 诸 结论 成 立 . 
证 由 定理 2.6.2 和 引 理 2.6.2, 可 知 本 推论 成 立 . 
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82.7 利用 马尔 可 夫 链 构造 奇异 单调 函数 


如 果 非 常 值 函 数 了 连续 ， 且 在 Lebesgue 测度 已 下 几乎 处 处 有 f'(x) = 0, 那么 
f 就 称 为 奇异 函数 ，Cantor 函数 (参见 Ash 1972, p.77) 是 最 有 名 的 不 减 奇 异 郴 数 的 
例子 , 严格 递增 奇异 函数 的 例子 已 经 被 许多 作者 所 给 出 , 如 Freilich(1973), Gelbaum 
and Olmsted(1964, p.96—98), Riesz and Nagy(1965,p.48—49), Takacs(1978). 本 节 就 
4 3E (Ë Bp 55 RRA pH X PE Je oS E RS CE Jy ( 刘 文 1998c)、 此 构造 方 
法 不 同 于 其 他 构造 方法 的 地 方 在 于 它 依赖 马 氏 链 的 强 律 ， 面 不 是 Cantor 函数 的 变 
形 . 

首先 介绍 实数 的 广义 m 进展 式 的 概念 ， m 是 整数 月 mm > 2. $ 


q= (0:92 gm) q;> 0 (i=1,2,...m) {2.7.1) 
和 
pii Pi2 … Pim 
P=] ^ > e |, pu > 0 (¿j= 1,2,: m) (2.7.2) 
Pml Pm2 :'' Pmm 


是 状态 空间 为 s-(.,2, m) BÉ 5 Est fmi AB EBE. 将 区 间 
(0.1) B q :92 :… :gm 的 比率 分 成 m +E BF] Di € S: 


D = [0, 41), D; = CREN + q) :Dm = [i 一 Qm; 1). 


这 些 区 间 都 称 为 一 阶 D EB. 一 般 地 ， 令 D... (rp € S,1 < k < n) B: x Bt D 
区 间 ， 按 P 中 第 z, 行 各 元 素 的 比例 prn: Penz: Pxam 将 区 间 Do, iu, 分 成 加 个 
左 闭 右 开 区 闻 D... sa lint = 52, c m) 这 样 就 得 到 了 nn 十 1 阶 了 D 区 间 ， 由 
归纳 法 就 可 得 到 任意 阶 的 D PCB]. 这些 区 间 被 叫做 由 qf P 产生 的 区 间 . 由 上 
述 构造 容易 看 出 


P(D..) = 44. (2.7.3) 
位 一 

P(D,,x,--.za ) = qx, II Perte) n 之 2, (2.7.4) 
k=1 

lin P(D,,,..s,) = 0. (2.7.5) 


noo 


考虑 区 间 套 
D... 2 Di, 2 Dix Dr, (2.7.6) 
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Dy sz... = (| Dau, (2.7.7) 


nzi 


容易 看 出 对 任意 的 x < [0. 1) ZEfETEA— BJ — PJ iF 63 {rnn > 150 < z, < m, 有 


(z) = f) Ds s. (2.7.8) 
n=1 
(2.7.8) 成 立时 可 简 记 为 
r 一 0.z17273 . (9, P). (2.7.9) 


r 的 这 种 惟一 表示 称 为 由 gqg P HIEIBIX m 进展 式 . 由 (2.7.3) 和 (2.7.4) ^n 
在 Lebesgue 测度 下 数字 序列 {rnn > 1) 组 成 一 个 初始 分 布 为 9, 转移 概率 为 P 
的 马 氏 链 . $ ¿j € s S(iz) 是 序列 zz ,zn P ç TE, S.G; jz) 是 
序 偶 (21,22), (22,22), ,(£n-1 £n) 中 (53) 的 个 数 ， (PLP p=) EBRE 
[rn > 11 的 平稳 分 布 . 2 


Ai = (z : lim S4(42) = oo, lim [S«(5,5,2)/55(5,2)] = pu), (2.7.10) 
Ai = (z: lim S, (š,z)/n = pi}, (2.7.11) 
A= N A)[ (| A). (2.7.12) 
i=l ij=1 
由 马 氏 链 的 强大 数 定 律 ， P(4) = 1, 并 由 (2.7.4), 有 
PLD =) = qa [[ Ft 22. (2.7.13) 
i,j=1 
令 
Tii 712 007 Tim 
R-| 278 m |, ryo (2.7.14) 
Tml Tm2 CC fmm 


是 另 一 个 转移 矩阵 ， 令 A;...... (za E S,1 < k < n) KRH q fl RHR n Br A 
区 间 ， 由 (2.7.3) 和 (2.7.4), 有 


P(A,,)= gs. (2.7.15) 
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n-l 


P(A.,zs--za) = qx, II 和 zk (2.7.16) 
k=1 
定理 2.8.1( 刘 文 1998c) ^ z € [0,1) 由 (2.7.9) WEFR, q fl R 4yh (2.7.1) 
和 (2.7.14) Æ H, EEH f: [0,1) 一 [0,1) 如 下 : 


f(x) = 0.212223 (q, B), (2.7.17) 
fO) 21, (2.7.18) 


其 中 (2.7.17) E H q 和 R HORE f(z) 的 广义 m 进展 式 ， mE P Z R, 那么 f(z) 
是 一 个 奇异 单调 函数 . 
证 显而易见 f{z) 是 单调 的 ， 下 证 连续 性 . f(z) 在 [0,1) 上 的 每 一 点 都 取 
值 . 实际 上 ， 令 y 是 [0,1) 中 的 任意 一 实数 ， 其 由 9 和 豆 所 产生 的 广义 mm 进展 式 
为 
y = Ü.ziz223--- (q, R). (2.7.19) 


取 
卫 二 0.7127223…… (q, P), (2.7.20) 


flf = e [0,1), B. f(z) = v. 现在 证 明 f(x) 的 奇异 性 ， 令 > c [0,1), 并 由 (2.7.9) 
XR. D.o£ Rf rd DI. 5 3 A... 是 包含 f(x) H = Br AKA. 分 
别 用 D... 和 Diu, 表示 Dau, 的 左 . 右 端点 , 类似 定义 AL... MAF uu. 
显然 有 


f(Da .mn) = Apen f(DE....) = Akeri (2.7.21) 
P(Az,..2.) = dz, II rip (2.7.22) 
ij-1 
令 p: p- 
X, (z) = i cel - T " sama). (2.7.23) 
由 (2.7.10) 和 (2.7.21)—(2.7.23), 可 得 
Anla) = [I fris /pi i?. (2.7.24) 


njzl 


4 BB 是 了 的 所 有 可 微 点 的 集合 ， 由 单调 函数 导数 存在 定理 ，P(B) = 1. 由 导数 的 
性 质 (Billingsley 1986, p.423) 和 (2.7.23), 可 得 


Jim A (z)= f'(z) «oo, zeB,. (2.7.25) 
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H (2.7.24), (2.7.25) 和 (2.7.10)—(2.7.12), 有 


im Anla)" = tim. ILIro/pgtim ^ 
i j= 
I Splits) S jm 
= [I Jim [ri pa] * TUS (2.7.26) 
i1,—1 
= [[ ra fpo yes, z € An B. 
ij=l 


由 2 pip; = 1 M P ÉZ R, H3 4 JU 23838, up 


Ira pio < 1. (2.7.27) 
£l 
由 (2.7.25)—(2.7.27), 可 得 
f(z2)-0, z€ AnB8. (2.7.28) 


HA P(An B) = 12.7.28) 蕴含 f'(z) = 0 as, 定理 证 毕 . 
广义 二 进展 式 的 情况 ， 令 m = 2,0 <p<1 是 一 个 常数 ， 并 令 


q = (1 — p.p), (2.7.29) 
>= [ mid Jl (2.7.30) 
)-» p 
在 此 情况 我 们 和 将 (2.7.9) 表示 为 
z 一 0.z7lizoz3… (p). (2.7.31) 


(2.7.31) 叫做 参数 p 产生 的 广义 二 进展 式 ， 相应 的 区 间 Deen PEEL p 生成 的 
n 阶 区 间 ， 当 p= 1/2 时 ， (2.7.31) 显然 是 兽 通 的 二 进展 式 ， 在 Lebesgue 测度 下 
(2.7.31) 中 的 点 序列 {zn,n > 1) 组 成 一 个 成 功 概率 为 p 的 Bernoulli 序列 , 令 S, (a) 
是 序列 f1,z2,… ,zn 中 1 的 个 数 ， 代 入 (2.7.13) 中 得 


P(Da.s,) = p^ l9 (1 — gy Sn (z). (2.7.32) 


Bí 2.8.1 $ z E [0,1) H (2.7.31) 表示 ，0 <" < 1 是 一 个 常数 ， 定 义 函 数 
[0,1] — [0,1] 如 下 : 
fe, (2) = 0.217a23 - - - (r), (2.7.33) 
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fe (1) = 1, (2.7.34) 


(2.7.33) 是 参数 7 产生 的 fos(z) 的 广义 二 进展 式 . BR rz p, 那么 forle) 是 一 个 
奇异 单调 函数 ， 

证 虽然 由 定理 立即 可 得 上 述 结论 ， 但 此 处 我 们 提供 一 种 避免 马 氏 链 强 律 的 
简单 证 明 方法 ， 按 定理 中 的 记号 ， 有 


PP(A。 | J) = ran 人 1 一 msn 人， (2.7.35) 


由 (2.7.21), (2.7.23), (2.7.32) 和 (2.7.35), 可 得 


P(Az,-2.) ,Sa(zj/ 工 二 yn 一 Sufz) 
À. (z) = P(D, wa ) C) G Zy) . (2.7.36) 
4 B(p,r) 是 f. 的 可 微 点 的 集合 ， 由 (2.7.25), 有 
Jim Aa (z) = f'h (m) «co, “€ B(p,r). (2.7.37) 
A 
A(p) = (2: Jim S, (z)/n = p]. (2.7.38) 


由 Bore 强大 数 定律 ， P(A(p)) = 1. 由 (2.7.36), (2.7.38), (2.7.25) 和 算术 几何 不 等 
式 ， 有 


Jim Da (z)]* = lim C) y Kuta € 1-5, (z)/n 
=G i 1-57 «L ze ÁA(p)nB(pr). (2.7.39) 


(2.7.87) 和 (2.7.39) 蕴含 
f'ee(z)= 0, xe A(p)nB(p,r). (2.7.40) 


因为 P(A(p) n B(p,r)) = 1, BrEA (2.7.40) HA f'pr(2) = 0 as. 

注 2.8.1 "p= tt, Wi forle) X f. fü r 2 2, 那么 f) 是 奇异 音 
调 函数 . 

it 2.8.2 出 Riesz 和 Nagy 给 出 的 画 数 是 上 例 的 特殊 悄 沈 ， 为 证 明 这 个 事 
X, 我 们 首先 构造 一 个 函数 , 令 半 是 任意 一 个 非 负 整数 ， 称 k2", (k 十 1)2-"](k = 
0,1,2,… ,2 — 1) 为 n 阶 区 间 ， 用 入 纳 法 在 [0,1] 上 定义 一 列 递增 王 数 FF,(z)(n = 
0,1,2,…'). 令 Fola) = z. 假设 在 每 个 n 阶 区 间 [a, 8] 上 连续 、 递 增 、 线 性 的 Fale) 
已 经 定义 ， 按 如 下 条 件 定义 F.,i(zm): 


Faila) = Fafa), FaA(6) = FG), (2.7.41) 
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«tB. 1-t lt 
3) = ^g lo) + —F,(8). 


F,+1 ( 


(2.7.42) 


3 是 一 个 常数 FH 0<t<1B, Filz) E n + 1 Br X. fa] [o (o + 8)/2] 和 


Ke -8)/2,85] 上 是 线 件 的 . 2 
F(z) = im Fy(z). 


容易 看 出 F(z) — rH EHBESIRE, 2 z e [0,1], 并 设 它 的 二 进展 式 为 


oc 
r-—ÓGg zx yn, zp = 0,1. 
k=1 


4 oo 70,05 = 1, š n > 1 Pl + 


On = 0.24 -+ z£ 000... (z = 0 25 k > n), 


Bn 一 0zi nlll- e (zs = 1 MEE > n). 
设 [05,54] 是 包含 z 的 一 个 % 阶 区 间 ， 由 此 可 贿 


[a1, 81] D (2; 83] D [es, 83] D --- , 

Flea) = Falan) —F(f4) = F,(A.)- 
容易 看 出 ， 如 果 m, = 0, 那么 

On = On- Ên = (Ga + Bs-1)/2. 
如 果 z, = 1, 那么 

ar = {an1 +6,-4)/2 Bn = pa-r 
由 (2.7.42) 和 (2.7.46)—(2.7.48), 可 得 

F(&,)- (os) = 2 1F(Be-i)- F(an-1)]] =, =0, 


F(B.)- F(as) = FIFAn) -Plon 1)] Sz 1. 


由 (2.7.49) 和 (2.7.50), 可 推出 
F(&8,) — Flan) = Za -ASe a + jela, 
使 用 (2.7.32) 和 (2.7.35) 中 的 记号 ， 可 得 
lan n) = Daon  P(D......) = 1/2", 
[F (An), F(a,)) = As... 
P(A;,...z,) = cu Uu 
TA (2.7.52) 和 (2.7.53) 蕴含 F (z) = f. (z), 其 中 = (1 — t)/2. 


ys= (z) [1 — ]n754 62. 


(2.7.43) 


(2.7.44) 


(2.7.45) 


(2.7.48) 


(2.7.47) 


(2.7.48) 


(2.7.49) 


(2.7.50) 


(2.7.51) 


(2.7.52) 


(2.7.53) 
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作者 (1990a,1989a 及 1989b) 通过 引进 关于 狗 积 分 布 的 对 数 似 然 比 作为 随机 变 
量 序 列 相对 于 独立 情况 的 差异 的 一 种 度量 , 建立 了 一 种 新 型 定理 一 一 强 偏差 定理 
(也 称 小 偏差 定理 ), 将 概率 论 中 的 强 极限 定理 推广 到 用 不 等 式 表 示 的 情形 . 本 章 将 
论述 这 方面 的 基本 思想 . 


83.1 N 值 随 机 变量 序列 的 强 偏差 定理 


É (X,,n > 1} 是 在 5= (,2,-.. , N) 中 取 值 的 随机 变量 ， 其 分 布 为 
P(X = £j t „Xn = Tn) = pfen T 20,z€ 5, 1 < s < n. (3.1.1) 
令 
falo) = —(1/n)Inp(Xi,.- - Xn), (3.1.2) 


其 中 falo) 为 (X.,1 < k < ny KRAE (WO WNO HE). 易 知 (X..n > 1) 相 
互 独立 的 充 要 条 件 是 存在 S 上 的 一 列 分 布 : 


(p:(1), p:(2), "tt BON), nj) > 0, ¿= 1,2, RE] 了 € S. (3.1.3) 
使 得 
p(zi, 7:24) = [Iozà- (3.14) 
i—1 
些 时 我 们 有 
P(X; = j) = si), (3.1.5) 
falo) = —(1/n) $ ma) n= 12, (3.1.6) 


定义 3.1.1 E [X,,n 2 1) 是 具有 分 布 (3.1.1) 的 一 列 随 机 变量 ， (3.1.3) 是 
S 上 的 一 列 概率 分 布 ， 令 


raf) = In [ps , Xo)/ [p (3.1.7) 


r{(w) = lim sup(1/n)rn(w). {3.1.8) 
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r(u) 32 FEZECEEDGE lE e t PE PIDE CUR HC. 显然 当 p(2:, ,zn) = Ia pile) 
时 r(w) = 0. 以 下 的 (3.35) 式 表明 ,在 {Xn,n > 1) 相依 的 一 般 情况 下 人 恒 有 
r(w) > 0 a.s.. 

因此 r(w) 可 以 作为 {Xan 2 1) 的 真实 分 布 plei ,zn)】 与 参考 乘积 分 布 
Ii p (zi) 之 间 的 偏差 的 一 种 随机 度量 . 粗略 地 说 ， 也 可 以 看 做 是 {Xnm1] 与 
具有 分 布 [i ple) 的 独立 情况 的 偏差 的 一 种 度量 ra 越 小 ， 偏 差 越 小 ， 本 
文 的 目的 就 是 要 利用 样本 相对 炳 率 的 概念 建立 一 类 用 不 等 式 表 示 的 强 极 限定 理 ， 
我 们 称 之 为 强 偏差 定理 . 

引 理 3.1.1 W c> 035. 令 


gle, A) = A-1) -1 A>0 Agi, (3.1.9) 


则 当 c > O BJ, gle, 为 (作为 入 的 函数 ) 在 入 = pie) € (1,00) 处 达到 它 在 区 间 (1,00) 
上 的 最 小 值 ， 其 中 Be) 是 方程 


XInA-1)+1=c (3.1.10) 


在 区 间 (1,00) 中 的 惟一 解 ; 350 <c<1BF, già) # À = e(c) € (0,1) 处 达到 它 
在 区 间 (0,1) 上 的 最 大 值 ， 其 中 atc) 是 方程 (3.1.10) 在 区 间 (0,1) 中 的 惟一 解 ， 而 
且 


glc, a(c)) = a(e) - 1, (3.1.11) 
(e. B(c)) = B(c) — 1, (3.1.12) 
Jim o(c) = 1, (3.1.13) 
lim (c) = 1. (3.1.14) 


c-r 


iE 将 gle,^) 对 入 求 导 , 得 
g(c,3) = [AnA — 1) 1 - ad/Xn ?. 
令 g'(c, X) = 0, 即 得 (3.1.10). $ 
pA) =Anà-1)+1, 入 > 0， (3.1.15) 


因为 $(A) 在 区 间 (1,00) 上 递增 ， 且 (1) = 0, lima plà) = co, &X (3.1.10) 在 区 
f] (1,00) 中 有 惟一 解 8(c) . BA g # À = B(c) 处 达到 它 在 区 间 (1,00) 上 的 最 大 
fü. XH (3.1.10) 有 

In ñ(e) = 1+ (c — 1)/f(c). (3.1.16) 
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由 (3.1.16) 5 (3.1.9), 可 得 (3.1.12). 因为 (4) 在 区 间 (0,1) 上 递减 且 (1) = 
O, lim, ;or é(À) = 1. 天 (3.1.10) 在 区 闻 (0,1) 中 有 惟一 解 o(c), B. g # À = afe) 
处 达到 它 在 区 间 (01) 上 的 最 大 值 . 类 似 地 ， 由 (3.1.9) 与 (3.1.10), 可 得 (3.1.11). 
因为 $(1) = 0, 由 连续 性 可 知 (3.1.13) 与 (3.1.14) 成 立 . 

定理 3.1.1 ( 刘 文 1990aj HE {Xn,n > 1) 是 一 列 具 有 分 布 (3.1.1) 的 随机 变 
E, kes, S.(k,o) 是 序列 X (2), Xala) ,Xn(w) P k A, ro) 由 (3.1.8) 
定义 ，c 为 非 负 常数 ， 令 


by = lim sup (1/n) Y^». (3.1.17) 
iz1 


D(c) = [o : (e) € e), (3.1.18) 
M (a) 34 c> 0 H b, > 0 A 


lit sup(1 /m)(Ss (ko) — 3 pi(8)] < bs[8(e/bs) — 1] as. T D(c), (3.119) 


其 中 (0) = 1. 2 c > 0 BJ 8(e/bk) 如 引 理 中 所 定义 . 
(bD3Ozc«cb, Hb > 0 PF 


lim inf (1/n)[Ss(k,w) — à.» (k)] > bs[e(c/by) — 1] as. 于 D(c, (3.1.20) 


其 中 o(0) 2 1. 34 e > 0 BF o(c/bx) 如 引 理 中 所 定义 . 
(c) 234 e 2 0 HA 


lim inf(1/5)[Ss(, w) — Y p(k)|> —b as 于 D(e). (3.1.21) 


i—1 


(d) 4 c > 0 B bç — 0 HA 


lim (1/n)[S,(k,o) Y pi(k)| 20 as. D(e). (3.1.22) 
3? 一 1 
注 3.1.1 B (Q,7,P) 是 一 概率 空间 ， Dc Z, NAZER. 如果 一 个 
命题 p 对 D 一 和 N 中 的 所 有 w 成 立 ， 则 称 此 命题 对 D 中 几乎 所 有 点 成 立 ， 记 为 
"p as, 于 D”. 
注 3.1.2 以 上 定理 给 出 平均 偏差 [S (5, w) 一 72 plkn 的 一 种 估计 ， 由 
于 得 到 的 估计 式 对 D 中 几乎 所 有 点 成 立 ， 故 我 们 称 它 为 强 偏差 定理 ， 这 是 一 类 用 
不 等 式 表示 的 D 上 的 强 极限 定理 ， 它 十 用 等 式 表 示 的 通常 的 强 极限 定理 的 一 种 
推广 . 
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注 3.1.3 HUE EEZHEDUERCE EL, TERES IBERS F 4€ D{c) 上 给 出 的 限制 
r(w) 和 也 可 以 看 成 是 对 {Xn,n 2 1) 与 具有 丧 积 分 布 (3.1.4). PUR S ED E 
的 一 种 限制 ， 上 述 定理 表明 ， 在 此 限制 下 ， 平 均 偏差 [S,(k,.) - YU I p (k)]/n 也 
受到 相应 的 限制 ， {3.1.19) 与 (3.1.20) 中 的 bx[ñ(e/b,) 一 1 与 brlo(e/bx) — 1] 就 是 
相应 于 c 的 后 一 偏差 的 上 、 下限. 由 (3.1.13) 与 (3.1.14), 知 当 c 很 小 时 ， 上述 偏差 
也 很 小 ， 基 于 这 一 情况 ， 我 们 也 称 上 述 定 理 为 小 篇 差 定理 . 

定理 3.1.1 的 证 明 — Ex ([0,1),7Z,P) 为 所 考虑 的 概率 空间 ， 其 中 大 是 [0,1) 
中 的 Lebesgue 可 测 集 的 全 体 ， P 为 Lebesgue WE. 我 们 首先 在 此 概率 空间 中 给 
出 具有 分 布 (3.1.1) 的 随机 变量 的 一 种 实现 . 

将 区 间 (0,1) 分 成 N 个 左 闭 右 开 的 区 间 : 


Dı = [0, p(1)), D> = [p(), p(1) + p(2)), ,Dn = [1 一 p( N), 1). 


这 些 区 间 都 称 为 一 阶 区 间 . 按 归 纳 法 , 设 N" 个 n 阶 区 间 {Daen 0; = 1,2,… N, 
1 < 所 nn} 已 经 定义 ， 按 比例 


p(ri Zn, L) pT! ,Cn 2) Dc plar En N) 


将 左 闭 右 开 区 间 D, rn 分 成 N ^r?r Bh JE PC IR] D, alo Dion ttt ;DaznN 
就 得 到 n+1 阶 区 间 . 易 知 当 n>1 时 有 


P(D。 es) = p(zu `: En). (3.1.23) 
定义 随机 变量 X. : 0.1) ~ S 如 下 : 
Xalo) = z, 3 w€ Daan (3.1.24) 
H (3.1.23) 与 (3.1.24), 有 
{u : Xi = mi,--- ,Kn = 24) = Dou, (3.1.25) 
P(X, = m Xa = ta) = plan Tah (3.1.26) 


故 {区 n,n > 1} RES (3.11). 

设 一 切 阶 区 间 (包括 零 阶 区 间 [0, 1)) 的 类 记 为 A> 0 为 一 常数 ，Do,...o， 是 
一 个 n 阶 区 间 ， 上 E S,s.(k.zi, En) 是 21,… ,zn 中 8 的 个 数 ， 简 记 为 s,(k), 
$,C) R S Lf] Kronecker á HA. m 


N N 
2 6 (z) =1, 2 50)=1, 


i=l 
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Sn (k Ti, En) = Y LA (ri), (3.1.27) 
sn(k, Eit Za) = Snik m. ti) t Rn) (n > 1). (3.1.28) 

定义 A ERIS F: 
Dern) = vm Te — 1)p;(k))]. (3.1.29) 


34 n > d 时 由 (3.1.28), (3.1.29), 有 


N 
> ED . = (Xe"- y(k) Hl r ne D» Nn) — Pnl (En) ) 


= - 1)pi(k) tQ - D»(E) 
- ECCE Pf 
Kawsa D» IT - De IFA- D». (. 
= u( Duns) (3.1.30) 
类 似 有 . 
Y 4(D4,) = 1 = n([0,1)). (3.1.31) 
他 1 一 二 


由 (3.1.30) 5j (3.1.31), 4 u E. A ff apo 3. due nr An fe fE SE SUE [0, 1) 上 
的 增 函 数 f、 ,使 得 对 任何 Daren 有 


(Daza) = fA(D en) — AUS), (3.1.32) 
其 中 Dia, 与 DLo. 分 别 表示 Daren 的 左右 端点 ， 令 


BUD, .zn ) fa( DE Lu) 一 f(Ds, .5,) 


ta, e) = P(D,.,...=., ) H Di... = D:,...z, 


w € D... |. (31.33) 


设 f, 的 可 微 点 的 全 体 为 AGO), PLA) = 1 BH 


Jim. (Aw) = 有限 数 ， | € Alà). (3.1.34) 
由 (3.1.34), 有 
limsup(1/n)ln t (X o) € 0, wE Ak(À). (3.1.35) 


由 (3.1.23), (3.1.29) 与 (3.1.33), 有 


£a (A, w) = [Sat I r= p; (X;) 


i 1xà- nag) P0 X4) | w€[01) (3.136) 
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gi (3.1.36) š (3-1.7), 有 


二 如 (ha = Z yd +A- p(k) - ralo), wefo,1). 


(3.1.37) 
H (3.1.37) 与 (3.1.35), 有 


limsup [An In A — i yn (1+ (XA — Dpi(k)) ^ r4(w) S 0, o € ALQ). 
m (3.1.38) 


(a) 3 À > 1.38 (3.138) 式 两 端 除 以 In 和 ,得 
1 Y In (1 + (A — 1)p;(Ë)) Tale) 


. 1 
limsup[- Salk w) — 7 mA -DA 


i—1 


- lim sup( 2 [S, (o) 一 2 Pilk)] 一 ly BO tO Da) - (&)] - SO 


<0, w € A&(À). 
(3.1.39) 
由 (3.1.39), (3.1.17), (3.1.18) 及 不 等 式 In(1.4- z) < 2,2 > 0, 有 


1 n 
1: [Salk o) 一 ¡ík 
imsup =| (kw) Zi )] 
. l< (A-lk) e 
< lim sup n 2 In À pi(k)) t In A 
A—1 . 1c c 
Ug Dima. D n + EX 


À—1 c 
Ch. Dti 


uv» “E AX(A) n D(e). (3.1.40) 


a bk > 0 Bf, H (3.L40) 与 (3.1.9), 有 


lim sup(1/n)[Ss (kw) 一 Min < bsg(c/b,, A), w € AK(A n D(c). — (3.1.41) 


1 一 1 


34 c> O BF, 2 À = B(c/bx), 由 (3.1.41) 与 (3.1.12), 有 


lim sup(1/n) [Ss (k, w) - 2.2) € bx|6(e/bx) - 1, w € Ak(B(e/bx)) n D(e). 
7 (3.142) 
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因为 P(A,0)) = 1, H (3.142) 即 得 (3.1.19). 34 e= 0 Bj, RA > Li=1,2, 
EHH 4 — oo 时 MN — 1, 并 令 


= (AGO n D(0)), 
i=1 
则 对 一 切 4>1, 由 (3.1.41), 有 
limsup(1/n)[S, ( (kw) 一 Y pi(k)] < b&g(0, A), | o € H*(k). (3.1.43) 


í=1 


BI limi g(0, A) = 0, H (3.1.43), 有 


lim sup(1/n)[Sn(k,w) — > p(k)| <0, u € H*(k). (3.1.44) 


因为 H*(k)c D(0) B. P(H*(k)) = P(D(0)), $24 c = 0 ib EH (3.1.44) 即 得 (3.1.19). 
(b) E 0 < A « 1. 将 (3.1.38) 两 端 除 以 In À, 得 


Heid) 7 CE CE OROD OD 
= limin(-[S.(5,«) - > p(k)] — Qe e) tA DAE pay- Tf 
>0, eeAQ (3.1.45) 


由 (3.1.45), (3.1.18), (3.1.17) 及 不 等 式 In (1 + z) < z,—1 < > < 0, 5 0 < (X — 
1)/InA« 1,0 < À < 1, 可 得 


liminf [Sn (o) — $^ ps] 


> liminf — 1 2 (1 + (À à= Upit) — pilk)] + lim inf rí) 
> liminf( È= -p 33: b) LS 
= -— — 1). + E w € Ax(À) n D(c). (3.1.46) 


当 bn > O BP, H (3.1.46) 5 (3.1.9), 有 


lim inf(1/n)(Ss (k, w) — Spi) z5&g(c/bx, À), w € AQ) Dle). (3.147) 


t=1 
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24 0 < c < bx Bl, & À = o(c/by), Hi (3.1.11), 有 


liminf(1/n)[S,(k,o) 一 2 pi(k)] > b.[o(e/bk) — 1, we Ax(a(ce/bx)) n Dlo. 
e (3.1.48) 
因为 PALO) = 1, H (3.1.48) I (3.120). 4 c = 0 BF, W r € (0,116 1,2, , 
使 得 当 守 一 oo PF z — 1, 并 令 


H.(k) = [ |(As(z) n D(0)), 


š=1 


ix — DI i> 1, 由 (3.1.47) 有 


liminf(1/n)[S,(k,o) ~ Y, pilk] > 5.9(0,7)), w € Halk). (3.1.49) 


4=1 


因为 Hmi 9(0,z;) = 0, 由 (3.1.49), 有 


lim inf( (I/n)[Ss(k, w) 一 Yt ]] > 0, w € H,(k). (3.1.50) 


因为 H.(k)c D(0) B. P(H,(k)) = P(D(0)), `% c = 0 时 由 (3.1.50) 即 得 (3.1.20). 
(c) 对 任意 c2 0, RR X € (01,12 ,2,---, ER i oo 时 ， 和 一 0, 并 令 
A= (X5,IAQ n D(e)), 则 对 一 切 宇 > 1, 由 (3.1.46), 有 


liminf ~ BIS, (k, w) -Spa > (2: 


i=l 


M - 15,4 — TX ， w€A. (3.151) 


因为 


， Ài—-1 AEN 
Jim [( hA ` 1), + i| = —bk, 


由 (3.1.51) 即 得 
lim inf(1/n)[Sa(k, w) — Y n9) b, u € A. (3.1.52) 
i=1 : 


EX Ac D(c) B. P(A) = P(D(c)), 由 (3.1.52) 即 得 (3.1.21). 
(d) 25 b, = 0 li], Bz X € (0,1), 7; € (1,00), 使 得 当 i — oo Il, À — 0, 7; — oo, 
并 令 B — rS [A(z;) n A(A.) 1 D(e)], Wxt—9 i > 1, H (3.1.40) 5j (3.1.46), 有 


1 z e 
lim sup RIS; (k, w) > p; (k)] < " wEB, (3.1.53) 
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lim inf — TS, (ku) 一 -yp > Lx D wEB 
i=1 
因为 
中 cn- 站 ea 
H (3.1.53) 5j (3.1.54), 有 
Jim ( (1/n)[Ss (k, w) -Dn =0 , WEB. 


因为 Bc D(o) B P(B) = P(D(e)), 由 (3.1.55) 即 得 (3.1.22). 
推论 3.1.1 ”在 定理 3.1.1 的 条 件 下 ， 


lim ( (1/n)[|Ss(k, w) -| = Ü a.s. 于 D(0). 


证 在 定理 3.1.1 h c = 0, H (3.1.19) 5j (3.1.20) 即 得 (3.1.56). 


(3.1.54) 


(3.1.55) 


(3.1.56) 


如 果 P(D(c)) = 0, 则 定理 3.1.1 的 结论 平凡 地 成 立 . 在 下 面 的 例子 中 我 们 将 


给 出 P(D(c)) > 0 的 几 种 非 平 凡 情 况 ， 
@| 3.1.1 i N = 2, p;(k) 21/2, k=1,2; 1 二 1,2,.… ,并 令 


d, = max p(zi,--* 24), Ti =1,2; i=1,2,-.- n 
如 果 1 ， 
lim sup dl/^ < ~e 
n—oo >° 


则 Dle) = [0, 1). 
证 + . 
relw) = p(Xi,-- X8 TD [js X2; u € [0, 1). 
i=l 


Ri 
D(c) = (w, lim sup[ra (w)! < e°}. 


由 假设 及 (3.1.58), 有 
rn [oj = p(X: U Xn) < 2^d,. 
于 是 由 (3.1.60),(3.1.57) 5 (3.1.59), 即 得 Dle) = [0, 1). 
例 3.1.2 & N-ZLp(k)-ok-LZi-l2. 如 果 


lim sup p(X1,*… ,Xnt1) /p(X Xn) < 
100 


(3.1.57) 


(3.1.58) 


(3.1.59) 


(3.1.60) 


(3.1.61) 
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则 P(D(c)) = 1. 
证 因为 lim supn oo am "dd < lim sup,, yoo Qnt1/ om 对 任意 正 数 列 {ann 之 1) 
成 立 ， 故 由 (3.1.58) 5 (3.1.61), 有 
lim sup[rs (2)]!/* = 2lim sup[p( X1, --- , X,,)]/" 


< 2lim sup p(X5, Ut Xni) p(T UU Xa) < e^ as. (3.1.62) 
n--oo 


于 是 由 (3.1.62) 5j (3.1.59), 即 得 P(D(c)) = 1. 
定理 3.1.20003: 19902) 在 定理 3.1.1 的 假设 下 ， 如 果 c>0, b, > 0, WI 
lim sup(1/n)[S,(k,«) 一 Y 209) <2Vbrc+e as. F D(o); (3.1.63) 


í—1 


dn 0 < c < bx, bi > 0, M 
lim inf(1/n)[Ss(&, w) ~ Y n) > —2ybke as. T D(c). (3.1.64) 
;—1 


证 ORA1 JSE IA»1—1/4,3 1, H (3.140), 有 


— X il 
À-1 c 
Sh A )+ IITA 
—by(A- 1) + S, w € A (A) n D(o). (3.1.65) 


易 知 如 果 c > 0,5. > 0, WAR (A) = 5 (A — 1) + eA/(A — 1, À > 1 达到 它 在 区 间 
(1,00) 上 的 最 小 值 pi + Ic] by) = 2 bic. TE (3.1.05) 中 令 X = 1 Wefbx, 得 


limsup(1/n)[Ss(k,w) — M ^ ps(&)) < 2v/buc-Fe, w € Ax(1-- Ve/bx) N D(c). 
= (3.1.66) 
因为 P(ALO)) = L, H (3.1.66), 即 得 (3.1.63). 
令 0 <À <1 利用 不 等 式 1 一 1/X <lpnA <0 K pA < X—- 1<0, 0 < À < 1, 
由 (3.1.46), 有 


liminf — 二 [Sn 人 (ku) 一 Yat) > (——k. + 


GU A 


=b,(À — 1) + — w € A) N D(o). (3.1.67) 
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易 知 如 果 0 < c < by, 则 函数 hA) = b(A — 1) + c/(À 1,0 <A < 1 达到 它 在 区 
间 (0,1) 上 的 最 大 值 h(1— V/e/bx) = —2v Exc. 在 (3.1.67) 中 令 A= 1— V6] 可, 得 


liminf(1/n)[S,(k,o) - 9 | pilky] > -2Vbke, w € All- yeb) D(e). (3.1.68) 


因为 P(A (和) = L, H (3.1.68), 即 得 (3.1.64). 
由 (3.1.56) 5j (3.1.22) gl, 24 c= 0 B ba = 0 Bt (3.1.63) 5 (3.1.64) 仍 成 立 . 


83.2 关于 儿 何 分 布 的 强 偏差 定理 


本 节 引 进 对 数 似 伏 比 作为 蓝 值 随机 变量 序列 相对 于 服从 几何 分 布 的 独立 随机 
变量 序列 的 偏差 的 一 种 度量 , 并 通过 限制 对 数 似 然 比 给 出 了 样本 空间 的 一 个 子 集 . 
在 此 子 集 上 得 到 了 一 类 用 不 等 式 表示 的 强 律 ， 其 中 包含 整 值 随机 变量 序列 与 相对 
AB st BE CL fe 38 05 488 2 CET ORE ETHER PE JE. 

设 (X,,n 2 1) 是 在 5= {1,2,…} 中 取 值 的 随机 变量 序列 ， 其 联合 分 布 为 


P{X1 = £1, X2 = zm, Xa = ma) = f(zi 22,7 En) > 0, z; € S, 1 << n. 
(3.2.1) 
为 了 表征 {Xn n > 1) 与 服从 几何 分 布 的 独立 随机 变量 序列 之 间 的 差异 , 我 们 引进 
EX 3.2.1 W 0 <p<l,g(jp)= (1-— p)i|[1p(j = 1,2,…) 表示 几何 分 布 ， 
{Xan 21) 是 具有 分 布 (3.2.1) 的 随机 变量 序列 ， (p, k > 1) 是 在 (0,1) PRE 
的 一 列 正 数 ， 分 别称 


Mx Xr pr) 
Rau) = FOE RS (3.2.2) 
与 
ra (e) = 1n R,,( )= Ding(Xi, pk) — In f(X1, X2, , X4) (3.2.3) 
k=l 
为 {Xn n > 1} 相对 于 乘积 几何 分 布 
lI g(z pk) zk € S, 1< k < n (3.2.4) 


k=1 


的 似 然 比 和 对 数 似 然 比 ， 其 中 w 为 样本 点 ， Xo) 简 记 为 Xr 
本 节 将 通过 限制 对 数 似 然 比 而 给 定 样本 空间 的 一 个 子 集 ， 并 利用 上 节 中 作者 
提出 的 方法 研究 整 值 随机 变量 序列 在 此 子 集 上 的 极限 性 质 . 
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定理 3.2.1( 刘 文 . 刘 自 宽 1997) 设 {Xn,n > 1) 是 具有 分 布 (3.2.1) 的 随机 变 
量 序 列 ， rn(w) 由 (3.2.3) €X, H 


a =inf{pn n > 1} >0. (3.2.5) 
又 设 0<c<l 为 常数 ， 令 
Dle) = fw: liminf (> )r« (9) > e) (3.2.6) 
mi 


lim sup > 2 9 一 >) < Ye +2(1—o) +c as. 于 D(e), (3.2.7) 
=} 


tmint Z Qr - 2) > Val+ )+c as TD() — (328) 

注 3.2.1 在 定理 3.21 中 ， 我 们 通过 条 件 iminf。 ofl/mn)rn(w)] > —e 限定 样 
本 空间 的 一 个 子 集 D(o), 并 在 此 子 集 上 考虑 比值 (1/n)[S, -r (1/001 的 极限 性 
Jf, 其 中 对 数 似 然 比 rn{w) 可 以 看 做 是 {Xk,1 < k < n) 与 上 共有 乘积 几何 分 布 (3.2.4) 
的 独立 随机 变量 序列 之 间 偏 差 的 一 种 随机 性 度量 GEH DOS (X,,1 < k < n) 服从 
参数 为 p. 的 几何 分 布 且 相 互 独立 时 ， rnlw) = 0. 下 面 的 推论 3.2.3 表明 在 任何 情 
RT, 


ra (o) 


lim sup < 0 a.s. (3.2.9) 


恒 成 立 . 因此 ,粗略 她 说 ，{3.2.6) 中 的 条 件 可 以 看 成 是 对 {n,n 2 1) 与 具有 分 布 
(3.2.4) 的 独立 随机 变量 序列 之 间 偏 差 的 一 种 限制 。c 越 小 ， 偏 离 越 小 ， 定理 3.2.1 
表明 ， 在 此 限制 下 ， 比 信 (1/n}iSn — Era (/px)] 也 受到 相应 的 限制 ， (3.2.7) 与 
(3.2.8) 给 出 的 就 是 此 比值 相应 于 c 的 上 ,下 限 . 当 c 很 小 时 , HE E, 下 限 的 绝对 利 
也 很 小 。 (3,2.9) 也 表明 ， 当 ce<0 时 ， 世 :liminf os (1/n)rs(w) 2 一 c] AU 
率 事件 .因此 我 们 无 需 考虑 (3.2.6) 式 中 的 c 为 负数 的 情况 . 

证 EX O = [0,1), 其 中 的 Lebesgue THRE F H Lebesgue 测度 只 组 成 
所 考虑 的 概率 空间 ， 首 先 给 出 具有 分 布 (3.2.1) 的 随机 变量 序列 在 此 概率 空间 中 的 
一 种 实现 . 

将 区 间 [0,1) 按 比例 f(1) : F(2) : … 分 成 可 列 个 左 闭 右 开 的 区 间 ， 这 些 区 
间 ， Di = [0, f(1)), Dx = [fü 7) 十 了 (2),…) 都 称 为 一 阶 区 间 ， 易 知 PD) = 
f(zihz: € S. 设 n WEA 也 =。 已 经 定义 ， 将 它 按 比 例 F(r1, 22, 21) : 
F(T Ea ga 2): 分 成 可 列 个 左 闭 右 开 的 区 间 : Daeron Tn = 152,7) 
这 样 就 得 到 n + 1 KEE. 由 归纳 法 知 ， 对 任何 n > 1, 有 


P(D, 2.) = f(z1,22,--- Zn). (3.2.10) 
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定义 随机 变量 序列 X, : [0,1) 一 S 如 下 ， 


Xalo) = £4, 3$ w € Dasa: (3.2.11) 

由 (3.2.10) 与 (3.2111), 
{w : Xi = my X, = En} = Dus (3.2.12) 
P(X = t1, , Xn = £a) = f(T1, ,Ln). (3.2.13) 


TE {Xan > 1) 具有 分 布 (3.3.1)， 下 面 我 们 就 按 {Xun > 1) 的 上 述 实现 来 证 明 
定理 . 
设备 阶 区 则 的 全 体 为 A, À € (0, ——) 为 常数 ， 在 人 上 定义 集 函 数 尹 如下， 


= La [za , 1 — A(1 — px)), (3.2.14) 

其 中 g[z,,1— A0 一 prj zs ES 表示 参数 值 为 1 — A1— pu) HILT. 5 U P 
É A Eg ar hidE si 3, HEFE 0,1) EKRAR fx. 使 得 对 任何 Daren 有 
BD, an) = fx (DE...) — fO au) (3.2.15) 


其 中 DL I, D... 分 别 表示 D. Mg < 


ADi ea) — P (Dy...) Do ao) 
Di.. "En — Da. fni Tn) 


talà w) = , w€ Daan (3.2.16) 


设 f. Bu goes 4( 为 ， 由 单调 函数 导数 存在 定理 知 ， P(AQ) = 1, W 
wc A(A), D, n, 是 包含 w R n 阶 区 间 . 当 mnoo P(D..,...z., ) = 0 Bf, 根据 导 
数 的 性 质 ， 由 (3.2.16) 有 


im n tn (À, w) = f) (2) < oo, (3.2.17) 


当 lim ;oo P(D.,...x..) =d >0 时 ， 有 


Jim tnl, o) = 3 lm. BD, 2.) < co, (3.2.18) 
故 有 
im t (o) = 有 限 数 ，w € AQ). (3.2.19) 
由 (3.2.19), 有 


lim sup i inf4(A,0) <0, w EAN D(e). (3.2.20) 
n= 
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由 (3.2.14) 与 (3.2.16), 有 


[Jaa -po -a -pe 
talà w) 二 一 fitin- , £a) 


_ 1 x =P) 
= as [a - si JIP P) 2e»... 
To — IL pk)7* pe Il w € D, e, 


(3.2.21) 
令 TL 
Sn = 5 Xr (3.2.22) 
k=1 
由 (3.2.21), (3.2.11), (3.2.3) 与 (3.2.22), 有 
_ _ 一 APk 
In£,(4,w) = Sain X 2/01 m —X -) 3 raw). (3.2.23) 
由 (3.2.20) 5 (3.2.23), 有 
. 1 2 Apk 
limsup 7 [Sn In À — > h 1-X1-pj t ra(u)] < 0, u € Al). (3.2.24) 
由 (3.2.6), 有 
liminf — Ll.) > —e, we D(e). (3.2.25) 
由 (3.2.24) 5j (3.2.25), 有 
lim sup Lis inA— 2m Ty <e, u € A(A)n D(e). (3.2.26) 
WR A € (1, 412), 将 (3.2.26) 两 边 同 除 以 In 和 ,得 
In ELS 
lim sup - 二 [Sn - Y —— MP] Sz weAQ)nD(g (8227) 


k=1 
由 (3.2.27) 及 上 极限 的 性 质 


lim sup(a,, — bn) < d = limsup(a, — c4) < lim sup(h,, — cn) + d, 
noo "noo noo 


有 
Àpk 
E 1—XM1- p) 1 c 
二 -> —1 < 二 3 — 
lim sup P [Sn am hmsup z [3 ln À " In À 
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w € A(A) n D(o). (3.2.28) 
由 (3.2.28), 不 等 式 
1—1/z <laz <zm—1 (z > 0), (3.2.29) 
及 (3.2.5), 有 
A-1 
1 z 1-0) _ 1 c 
imsis- Ey ] < limsup — 1 I-I ^» i-i 
1 n 
er T+ 
< à-1 1«A c A(A) n D(c). (3.2.30 
tii r tre < À < — wE fc). (3.2. ) 
1 aj2 _ a i _ _ 
MM 1l1<À< i-a -ltan-aj Hj, 1—A(1—- o) > a/2, MUR 
A-1 2(4 — 1) 
raag 7 (3.2.31) 
HI (3.2.30) 5 (3.2.31), 有 
imapa - s 102 — +s, ecA()nD(o). (3.2.32) 
当 0<ce<1 时， 在 {3.2.32) 中 ， $41+ 得 
limsup 21$, - Y; 1] < e I l az t2(1-o)] +e, 
noo fL k= — PF 
TEU n D(e). (3.2.33) 


由 于 PU + a /e/D(1 — a)l) = 1, E (3.2.33) 知 ， 当 0 < c < 1 Hh (3.2.7) 
Hoy. Mc = 0H, H AM e ü, = “i= 1,2 .使 2 —+ 1G — oo), 并 令 
= (Y; AA), 则 对 一 Bid (3232), 有 


n 
lim sup lis, -5 ij «0, wc Aun D(0). (3.2.34) 
入 -oo M k=l Pk 


由 于 P(A1) = 1, 故 由 (3.2.34) RU, 235 e= 0 时 (3.2.7) 也 成 立 . 
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HX A € (0,1). 将 (3.2.26) 两 边 同 除 以 In A, 得 


In E. _ 
sail OX 1-AXl-p). c 
liminf 二 [Sn >` — i2gyp €€40)nD(g. (3.2.35) 


由 (3.2.35) 及 下 极限 的 性 质 
liminf{an — bn} > d = lim inf (an — ca) 之 lim inf (bn —c4) t d 


有 
mm pu 
，，, 工 1 .Te d—À(ü-p) 1 c 
二 一 一 ] > 二 — í _ — 
Imint L5 - 5, 1 > imita 3I pal dnx 
w € A n D(o). (3.2.36) 
H (3.2.36), 不 等 式 (3.2.29) Æ (3.2.5), 有 
A-1 
. ,el SEXE 1—-AX1-p.) 1 c 
mint 25, — 7] > mint" PEE altaat" 
k=1 k=1 1-X 
A-1 € 入 一 工 e 
= lm inf 一 一 -一 -一 一 一 — > 一 -一 — 
nt tt 
>2 l, 5 pe, 0<A<l € AJN D(e) (3.2.37) 
2g X-1 ; w €). .2. 


当 0<e<1 时 ， 在 (3.2.37) 人 


n-o TL 


lim inf 二 lis, Xa -va +5 )te woe41-venDpe， (3.2.88) 
k= 


由 于 P(A(1 — Va)) = 1, i (3.2.38) 知 ， 当 0< c < 1 I (3.28) 成 立 . 当 c=1 
时 , 取 M € (0,1), f A; — Li — co), 并 令 4 = (9, AA), REI i tH (3.2.37), 


有 


. ol — 1 1 
lim inf -[S, — »SESP- -z> "€ An D(1). (3.2.39) 


kai Pk 
由 于 P(42) = 1, 故 由 (3.2.39) At, 24 c — 1 时 (3.2.8) DR. R (3.2.34) 的 证 
明 可 知 当 ec=0 时 (3.2.8) 也 成 立 .证 毕 . 
注 3.2.2 在 以 上 的 证 明 中 ， (3.2.33) 与 (3.2.38) 是 通过 用 试探 性 的 方法 适当 
选取 和 的 值 而 得 到 的 . 这 种 方法 虽然 不 够 精细 ， 但 所 得 出 的 


lim sup(1/n) 和 On — 1/px) 


k=1 
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HERS lim infa yw $7, (Xk; — 1/px) ËJ FR, 24 c — 0 时 ,都 是 与 Ve 同 阶 的 无 
穷 小 . 这 正 是 我 们 所 预期 的 结果 ， 有 待 改 进 的 是 比例 系数 的 问题 . 
推论 3.2.1 在 定理 3.2.1 HBT. E 
lim 33: - == =0 as T DO. (3.2.40) 
证 在 (3.2.7) 5 (3.2.8) 中 令 = 0 即 得 . 
推论 3.2.2 W (X,,n = 1,2,… 上} 相互 独立 ， 且 服从 参数 为 p, 的 几何 分 布 ， 
其 中 (pun > 1} 满足 条 件 (3.2.5), W {n,n > 1) 满足 强大 数 定 律 ， 即 


Jim — Don - =)= =0 as. (3.2.41) 


证 注意 到 此 时 raw) = 0, D(0) = [0, 1), 于 是 由 (3.2.40) 即 得 (3.2.41). 
推论 3.2.3 设 {Xn,n > 1) 是 具有 分 布 (3.2.1) 的 随机 变量 序列 ， >n(w) 由 
(3.2.3) 定义 ， 则 
lim sup Tale) v) <0 as.. (3.2.42) 


T— o6 


i # (3.224) mp4 )= 1, 得 


lim sup rale) <0 as 于 A(1). (3.2.43) 


"no 


由 于 P(A(1)) = 1, 故 由 (3:243) & (3:242) 成 立 . 

注 3.2.3 Wee < 0 B, Dle) 仍 由 (3.2.6) 定义 , 故 由 (3.2.42) 知 P(D(c)) = 0. 
这 就 是 定理 中 假设 c > 0 的 原因 . 

设 (X,,n > 1} 是 具有 分 布 (3.2.1) 的 随机 变量 序列 ， 令 


Qa (u) = - LI f(f, Xar: ,Xn). (3.2.44) 
pn(lw) 称 为 {Xk,1 < k € n) IÉMIDSHEREEE. 关于 vu (o) 的 极限 性质 的 研究 是 信息 
论 中 的 一 个 重要 课题. 

推论 3.2.4 设 {Xn,m 之 1} 是 具有 分 布 (3.2.1) 的 随机 变量 序列 ，wn( 由 与 3 
分 别 由 (3.2.44) 与 (3.2.22) 定义 ， 则 
lim sup pn(w) < (In2)limsup 至 a.s.. (3.2.45) 


证 05 —1/2,k —21,2,---. H (3.2.3) 5 (3.2.42), 得 


1 n 
limsup ~|- Y ^ Xy1n2 - In f(Xi, Xz, ,X4)] S 0 as. (3.2.46) 
new T" kA 
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利用 上 极限 的 性 质 ， 由 (3.2.46) 与 (3.2.44), 即 得 (3.2.45). 

定理 3.2.2( 刘 文 、 刘 自 宽 1997) ÉE {Xn,n 之 1} 是 具有 分 布 (3.2.1) 的 随机 变 
ET oae) 与 S, 分 别 由 (3.2.44) 与 (3.2.22) 定义 ， p e (0,1] 为 常数 ， H(p) 
表示 参数 为 p BOLT, Bp 


Hip) = -sbplnp+ (1  p)in(1 — pJ. (3.2.47) 
(约定 0m0 = 0) 如 果 
lim sup B < 5 a.s., (3.2.48) 
则 有 
limsup pn(w) < H (p) a.s.. (8.2.49) 


证 当 0<p<1 时 , $ pe=p,k=1,2,---, MH (3.2.3) 与 (3.242), 得 


n 1 
lim sup( 2" -Din(l -p+inp— -ln f(X1, Xa ,Xa)] SO «s. (3.280) 


根据 上 极限 的 性 质 ， 由 (3.2.50) 53 (3.2.48), 得 


lim sup pnl) < im sup[- (2 —1)in{1 — p) - Inpl € H(p} a.s.. (3.2.51) 
Ti 5c "noo 


当 ?= 工 时 ， 对 一 切 k > 2, H (3.248), 有 


. S. 
limsup — < m a.s.. (3.2.52) 
k 
由 (3.2.51) 5 (3.2.52), 有 
limsup pn(w) < H(1— p) as Vk > 2. (3.2.53) 
Ei Ean o0 


由 (3.2.53) 434 p= 1 Hf, (3.2.49) 仍 成 立 . 
定理 3.2.3( 刘 文 、 刘 自 宽 1997) {Xn n 2 1] 是 具有 分 布 (3.2.1) 的 随机 变 
量 序列 ， galw), Sn 与 H(p) 分 别 由 (3.2.44),(3.2.22) 与 (3.2.47) 定义 ，c 为 常数 . 


如 果 
lim inf ipai) 2 € a.s. (3.2.54) 
则 $ 1 
liminf — > — a.s., (3.2.55) 
no TJ p 
其 中 2 是 方程 


H(z)=c (3.2.56) 
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在 区 间 (0,1) 内 的 惟一 解 . 
证 由 (3.2.50)( 其 中 的 p 定义 为 方程 (3.2.56) 的 解 ) 有 


lim sup 2" 一 全 Int1 一 下 十 inp 十 liminfpo(w] <0 a.s.. (3.2.57) 
noc mn no 


Ht (3.2.57) 与 (3.2.54), 有 
[In(1 ~ p)j lim. inf(2 — D + Inp < —c= -H(p) as. (3.2.58) 


H (3.2.58) 与 (3.2.47), 即 得 (3.2.55). 

注 3.2.4 AARAA H(z) 在 区 间 (0,1) 内 严格 递减 , H. H(1—0) = 0,h(0+) = 
oo, 故 方程 (3.2.56) 在 (0,1) 内 有 惟一 解 . 

+32.5 值得 注意 的 是 定理 3.2.2 与 定理 3.2.3 的 条 件 与 几何 分 布 无 关 ,而 作 
为 定理 的 结论 的 (3.2.49) 与 (3.2.55) 却 与 几何 分 布 有 关 , 这 反映 出 几何 分 布 的 一 种 
特殊 地 位 . 

推论 3.2.5 在 定理 3.2.3 的 假设 下 ， 有 


lim inf H(z-) > as. (3.2.59) 


neo 


证 H (3.2.55), 有 
lim gup = Kp as. (3.2.60) 


"noo n 


注意 到 H(p) = c, H (3.2.60) Ej H(z) 的 递减 人 性， 即 得 (3.2.5). 
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本 节 引 进 似 然 比 作为 整 值 随机 变量 序列 相对 于 服从 Poisson 分 布 的 独立 随机 
变量 序列 的 偏差 的 一 种 度量 ， 并 通过 限制 似 然 比 给 出 了 样本 空间 的 一 个 子 集 ， 在 
此 子 集 上 得 到 了 任意 整 值 随 机 变量 序列 的 一 类 用 不 等 式 表 示 的 强 极限 定理 .并 得 
到 了 服从 Poisson 分 布 的 独立 随机 变量 序列 的 一 族 强大 数 定理 ， 

设 {Xn,n > 1) R fE S = {0,1,2,…} 中 取 什 的 随机 变量 序列 ， 其 联合 分 布 为 


P(X,2z1---, X4, = Tp) = f(zi,,2,)50, mí € S, Ll<i<n. (3.3.1) 
为 了 表征 (X,.,n > 1} 与 服从 Poisson 分 布 的 独立 随机 变量 序列 之 间 的 差异 ， 我 们 
引进 如 下 的 定义 . 

定义 3.3.1 设 plj, à), j = D, 1, 773 为 参数 为 À 的 Poisson 分 布 ， {Xn n 2 1} 
具有 分 布 (3.3.1) 的 随机 变量 序列 ， {和 n,n > 1) 是 一 正 实 数列 ， 并 令 


ralu) = [TI Xr /F(X ,Xn) (3.3.2) 
k=1 
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为 {Xn,n > 1} WMH FRE Poisson 分 布 


I[»53). zx € S (3.3.3) 
k=1 
的 似 然 比 ， 此 处 w 为 样本 点 ， 简 记 及 E(w) 为 Xx. 
在 本 节 中 ， 通 过 限制 似 然 比 给 出 了 样本 空间 的 一 个 子 集 ， 在 此 子 集 上 得 到 了 
一 类 用 不 等 式 家 示 的 强 极限 定理 . 
定理 3.3.1( 刘 文 、 刘 自 宽 1995) W {Xn,n > 1) 是 具有 分 布 (3.3.1) 的 随机 变 
量 序列 ， ralo) 由 (3.3.2) Æ, anli ta) 是 一 定义 在 S" 上 正 的 实 函 数列 ， 
并 令 M > 0e>0 为 常数 简 记 on(X1,… Xn) Jo. 
3t D(c) 为 满足 下 列 条 件 的 样本 点 的 集合 ， 


Jim On = 900, (3.3.4) 
limsup(1/o4) > As < M, | (3.3.5) 
11— o° k=1 
liminf(1/o,,) Inra(o) > —e (3.3.6) 
则 a 
limsup(1/z,) Y (Xr — As) < 2VMe+e as. F D(e). (3.3.7) 
no k=1 
# D < e < M, M 
lim inf(1/o,) Y (X -A)2-2V/Mc as T Dle). (3.3.8) 
k=} 
# c > M, I 
lim; inf(1/0n) > (Xx -X)2-M-ce as F Dle). (3.3.9) 
k=1 


43.3.1 在 上 述 定理 中 , 样本 空间 的 子 集 由 (3.3.4) 一 (3.3.6) 定义 , 在 此 子 集 上 
得 到 了 Drail Xr- Ak)/an f£ n — oo 时 的 极限 性 质 , 此 处 en 为 强 极限 定理 中 的 
推广 . 因此 条 件 (3.3.4) 是 自然 的 . 条 件 (3.3.5) 表明 当 97, 1A. oo IF, on — co 
的 阶 不 小 于 BCLLO A. 的 阶 ， 此 条 件 为 本 节 所 用 方法 的 适用 范围 的 限制 ， 若 此 条 件 
不 满足 ， 要 研究 上 述 比率 ， 则 项 用 更 好 的 方法 ， 例 如 在 研究 全 对 数 律 时 所 用 的 方 
ik. (3.3.6) 是 决定 Die) 的 关键 条 件 ， 此 处 似 然 比 可 以 看 做 为 (X,.,n > 1) 与 服从 
Poisson 分 布 的 独立 随机 变量 序列 之 间 的 差异 的 度量 . 易 知 当 且 仅 当 XU < k < n) 
为 服从 参数 为 和 (1 < k < n) 的 Poisson 分 布 独立 随机 变量 时 ， ruv) = 1. 
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推论 3.3.4 EH]? on — oo 时， jiminfn_yoo(1fon)lnrn(lw) > 0 a.s.. 粗略 地 
讲 ， 条 件 (3.3.6) 可 以 看 做 为 {Xan > 1} 与 服从 分 布 (3.3.3) 的 随机 变量 序列 之 间 
偏差 的 度量 .cc 越 小 ， 偏 差 越 小 、 上 述 定理 表明 在 此 限制 下 ， 372 (Xx — 2/04 
也 相应 的 得 到 限制 ， (3.3.7) 一 (3.3.9) 给 出 了 关于 c 的 上 极限 与 下 极限 ， 当 c 很 小 
时 ， 此 比值 的 绝对 值 也 小 .此 定理 的 情形 类 似 于 微分 方程 的 解 的 稳定 性 . 

定理 3.3.1 的 证 明 Hg G = [0,1), 其 中 Lebesgue 可 测 集 的 全 体 和 Lebesgue 测 
HE PP 组 成 所 考虑 的 概率 空间 .首先 给 出 具有 分 布 (3.3.1) 的 随机 变量 序列 在 此 概 
率 空间 中 的 一 种 实现 . 

将 区 间 [0,1) 按 比例 (0) : f(1) : ,… 分 成 可 列 个 左 闭 右 开 区 间 : 


Do = (0,f(0), Di = [/(0), f(0) + F), --- 
这 些 区 间 都 称 为 一 阶 区 间 ， 吻 知 
P(D4) = flt), m € 8. 
Ë n MRA D... z; € S,1 < i <" BEX, 将 它 按 比 例 
(21 ,Tn;0) 1 f(zi,-- , Za, 1) pee 


分 成 可 列 个 左 闭 右 开 区 间 Dose a (Zn+1 = 0, 1, ), 这 样 就 得 到 nn 十 1 阶 区 间 . 
Ax ER n T1704 


P(D,..,.) = f(21, 24). (3.3.10) 
定义 随机 变量 X, : [0,1) — S 如 下 : 
Xalo) = X,, H w € Dia, (3.3.11) 
由 (3.3.10) 4 (3.3.11), 有 
{w : Xi = m$, ,Kn = 24) = Dues, (3.3.12) 
P(X = 21, , X, = 2,) = f(t ,X,). (3.3.13) 


于 是 {Xn,n > 1} 具有 分 布 (3.3.1). 下 面 我 们 就 {Xn} 的 上 述 实 现 来 证 明定 理 ， 
设 各 阶 区 间 (包括 零 区 间 [0,1)) 的 全 体 为 A 和 为 一 正 实数 ,在 A 上 定义 集 函 
Xx ndn: a 
u(D,,....) = [[5(2 324); (3.3.14) 
k=1 
此 处 p(zi, Ad) 为 参数 为 A 的 Poisson rdg. En u 是 4 上 的 可 加 和 集 函 数 ， 由 此 
知 存 在 [0,1) 上 的 增 函 数 fs, 使 得 对 任何 Di au A 


B(Dz, n.) = (DZ...) — fa(Dz, s), (3.3.15) 
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其 中 Dk. I DS... 分 别 表示 Dae 的 右 左 端点 ， 令 


_ f (D2.... ) — UL) — MD) 
talà) = Dis Dam faen X). 09 Dersan (3.3.16) 


设 fx 的 可 微 点 的 全 体 为 A()， 由 单调 函数 导数 存在 定理 知 P(A) = 1. 3 
w € AQ), w € Daen: M limo sus P(D;,..=.) = 0 时 根据 导数 的 性 质 (参见 
Billingsley1986, p, 423), 由 (3.3.16) 有 


lim talà w} = fL (o) < co, 
Too 


当 lim oo P(D,..)-d»0H8, 有 


Ji t0) = fig, =s < >, 
[1 
Jim t,(,w) = 有限 数 ，wE AQ). (3.3.17) 
由 (3.3.4) 与 (53.17), 有 
lim sup = Inf.(A,u) < 0, we AN ND(e). (3.3.18) 
由 (3.3.2), (3.3.11), (3.3.14) 和 (3.3.16), 有 
Into X) = Y? Xela TO DM lans (o). (3.3.19) 


k=1 h=1 


H (3.3.18), (3.3.19), 可 得 


liminf(1/as) Y ls nÀ — Yu - DAR ies) >, wc AQ)nD(o). (3.3.20) 
k=1 k=1 
由 (3.3.6), 有 
liminf > Inrs(u) > -ec, w€ D(c). (3.3.21) 


nao 


H (3.3.20), (3.3.21), 有 


limsup(1/=,.) Y É In A - Yu 一 e| <c, v € A(A)n Dic). (3.3.22) 
noo k=l k=1 


W À > 1, 将 (3.3.22) 两 边 同 除 以 In A, 得 


lim sup(1/o,) Y E - Y ain : » <ceflnà, we A(X)n D(c). — (3.3.23) 
kawsa k=1 k=1 
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H (3.3.23),(8.3.5) 及 上 极限 的 性 质 


limsup(a,, ~ bn} < d => limsup(a, — ca) < lim sup(b,, — c) + d, 
于 一 TD *+— 00 


nos 


lim eup(1/os) y. — Àk) | 


k=1 
< lim sup(1/0n) P: _ 2 +< cflnà 
n? k—1 


A—1 
< aa M+ < cf In A, u € A( (A) n D(c )- (3.3.24) 


由 (3.3.24) 及 不 等 式 1 一 1/z «Inz Ez —1 (z > 0), f8 
z ÀA—1 € 
impe) (X& — À ) < | 一 一 一 1 + 一 一 
oa > koak (2A ) 1—1/À 
= (A 1)M ccc e/(A -1), v € AQ) n D(c). (3.3.25) 


Mc»08, ASIE gA) = (A-M e c/(A— DQ 5 1) TE AS 1 ve 
处 达到 它 的 最 小 值 g(1 + Ye/M) = 2V Mc -- c. 因此 由 (3.3.25), 有 


lim sup{1/on) [So 一 € 2/ Mc e, u € A(1+ /e/M)n D(c). (3.3.26) 
nx kol 
由 于 P(A(1+ yeM)=1, 54 c» 0 8, (3.3.7) 可 由 {3.3.26) 得 到 ， 当 c=0 时 ， 
选取 o; > i= 1.2,...) 使 得 aí 2 1(6 9 o0). $ A = I, AG), 则 对 于 任意 的 
i, Hi (3.3.25), 可 得 


limsup(1/o,) [a _ 2 € (o; —1)M, w E€ A nDO). (3.3.27) 

=1 

` H> o; 1, 由 (3.3.27), 可 得 

lim sup( (l/c,) S~ Xk — Àk) 
=1 


由 于 P(A)= 1, th (3.3.28) 4, 3 c= 0 时 (3.3.7) 成 立 . 
4 0«A«1, 3# (3.8.22) IS FIELD In A, 得 


«0, wc An D(0). (3.3.28) 


liminf(1/o, ) Y: [x [s -y t -cfinÀ, we AAND). — (3.3.29) 


k=l k=l 
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由 (3.3.29), (3.3.5) 及 下 极限 的 性 质 


lim inf(an, — bn) > d —> liminf(e, — cn) > liminf(b, ~ cn) + d 
nW n-oo 2— O2 


limipf(1/o,) > (x -a| 


> Himinf(l/on) Eas - zi 4- ef In À 


一 = 1_ 1) imsup(1/0,) 9 7 Tce/lnÀ 


in A c 
> - - 1M t c/InÀ, we AQ) n D(c). (3.3.30) 


由 (3.3.30) ERË 1 — 1/z < laz < z — 1(z > 0), 
lim inf(1/øn) V(x -Adl 2 (SL cias 2 
noa n pei k kij 一 1- 1/À 入 一 1 


- (A- 3M t e/(A —1), we A(A) n De). (3.3.31) 


易 知 , 当 0 < c < M BE EH hO) = (0-1) M Kc/(A-1)(0 < A < 1) # X S 1- V/c/M 
处 达到 它 的 最 大 值 hI- /e/M) = —2VcM. 因此 ， 由 (8331, # 


liminf(1/4) Ex - «| »-2VcM, we AU- V/efM)n D(c). (3.3.32) 


由 于 P(AQ- /e/M)) =1, 3 0 < c < M Bf, (3.3.8) 可 由 (3.3.32) 得 到 . 3 e = 0 
Bf, XEBCO < B; < 1(i=1,2,…) 488 5,  1(6 — co), 并 令 As = s A(A), ), 类 似 
(33.28) 的 证 明 ， 由 (3.3.3), 可 得 


liminf(1/on) 5» - | 20, we AN D(c). (3.3.33) 
k=l 
由 于 P(Ao) = L, 故 由 (3.3.33) 4, >4 c = 0 时 (3.3.8) EX. 
车 c2 M, 选择 0 < Ti < 1, 使 得 Ti — 0 -> oo). 4 A3 = fX A(ri), 则 对 于 
任意 的 d, H (3.3.31), 可 得 


lim inf (fan) ee — z T(rn-—-1M-ce/(r—1. we As i D(e). (3.3.34) 
k=1 
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于 是 


liminf(1/o,) Y (x, _ J z-M-c, w€ AN Die). (3.3.35) 
=1 
由 于 P(As) = 1, 故 由 (3.3.35) 知 ， 当 e= 0 时 (3.3.9) 成 立 . 
推论 3.3.1 在 定理 假设 的 条 件 下 ， 有 
liminf(1/o,,) y. -a =0 as. T D0). (3.3.36) 
k=1 
证 在 (3.3.7) (3.3.8) 中 令 e = 0, 可 得 推论 3.3.1. 
由 上 述 定理 可 得 服从 Poisson 分 布 独立 随机 变量 序列 的 强大 数 定 理 (参见 
Ross1983, p.58). 
推论 3.3.2 WE {Xn, n > 11 为 服从 参数 为 入 (1 < k < n) 的 Poisson 分 布 独 
立 随 机 变量 序列 . 若 a 
Y x = co, 
k=1 


则 


kzl 一 1 as. (3.3.37) 


证 令 oo 人 ft 如) = $ An M = 1, 则 条 件 (3.3.4) 与 (3.3.5) 满足 ， 这 时 
k=1 ` 
ra (to) = 1. (1/o4) la r«(u) 三 Q, 这 表册 当 c = Ü 时 条 件 (3.3.6) 仍 成 立 ， 此 时 有 
D(0) = '0,1), (3.3.37) 可 由 (3.3.36) 得 到 . 
推论 3.33 W {Xn n> 1) 为 服从 参数 为 (1 < k < n) 的 Poisson 分 布 独 
立 随机 变量 序列 ， 若 


limsup(1/n) $. Ak < oo, (3.3.38) 
TL k—1 
则 n 
lim (1 [nY (X, — Y) 20 as.. (3.3.39) 
k—1 


证 + onlie stn) m n, 则 条 件 (3.3.4) 满足 ，{3.3.5) 可 由 (3.3.38) 得 到 . 
类 似 于 推论 3.3.2 中 的 证 明 ， 知 D(0) = [0, 1), 故 可 由 (3.3.36) 得 到 (3.3.39). 
推论 3.3.4 4 
D = {w: lim sup = co), (3.3.40) 
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JJ 


lim sup(1/o) Inralw) S 0 as. 于 D. (3.3.41) 
证 E (23.19) 可 得 
tall, w) = rn (uw). (3.3.42) 
由 于 P(A(1)) = 1, 故 可 由 (3.3.17), (3.3.42), 得 
Jim ra(w) = 有 限 数 as.. (3.3.43) 


于 是 由 (3.3.43),(3.3.40), 得 到 (3.3.41). 

注 3.3.2 (Bii c «0, Dio 为 满足 {3.3.4) 一 (3.3.6) 点 的 集合 . 由 于 D(e) c D, 
由 (3.3.41) 和 (3.3.6) 知 ， 当 ec < 0 时， P(D(c)) = 0. 这 就 是 我 们 在 定理 中 假设 
c2 0 的 原因 . 

下 面 的 例子 证 明了 在 某 些 非 平凡 情况 下 P(D(c)) > 0. 

例 3.3.1 令 0< l < M, k= 1,2,-.., {Xan > 1 为 一 马 氏 链 ， 它 的 初始 
分 布 和 转移 矩 笑 分 别 为 


q = (ga(0).2(1),:::), q(j) > O 


和 
aP = (pa (š, 3)), pnli, j) > 0, ij € 5, n 之 2, 


此 处 pali, j) = P(X, = j| Xn- = i). 若 对 任意 的 t € S, 一 致 地 有 


se PLA) 

liminf mG) >1, (3.3.44) 

则 a 
lim (G/n) P UG ~ X) 20 as. (3.3.45) 

k=1 

证 此 时 
ra(w) = [[ I p(X AX) TT (i Xa). (3.3.46) 
k=1 k=2 


对 任意 的 正 实 数列 {ann > 1), 
liminf Var > liminf{an/an-1), (3.3.47) 
则 由 (3.3.44), (3.3.46) 和 (3.3.47), 得 


lim inf [rs (v7) ^ > liminf[rs (v) /7s-1(2)] 


第 三 章 ”关于 乘积 分 布 的 强 偏差 定理 . 123. 

= liminf[p(Xn, An)/Pa(Xn-1, Xn) 2 1. (3.3.48) 

4 on = n, 则 显然 (3.3.4), (3.3.5) ME. £ c = 0, 则 可 由 (3.3.48), 得 到 (3.3.6), 因 
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本 节 引 进 似 然 比 作为 整 值 随机 变量 序列 相对 于 服从 负 二 项 分 布 的 独立 随机 变 
量 序列 的 偏差 的 一 种 度量 ， 并 通过 限制 似 然 比 给 出 了 样本 空间 的 一 个 子 集 ， 在 此 
子 集 上 得 到 了 任意 整 值 随机 变量 序列 的 一 类 用 不 等 式 表 示 的 极限 定理 . 

设 (X,,n > 1) 是 在 S = {0,1,2,…} 中 取 值 的 随机 变量 序列 ， 其 联合 分 布 为 


P(Xi =m: ,Xn = En) = f(T1, 2.) >0, ES, 1<icn. (3.4.1) 


为 了 表征 (X,,n > 1) 与 服从 负 二 项 分 布 的 独 空 随机 变量 序列 之 间 的 差异 ， 我 们 
引进 如 下 的 定义 ， 

定义 3.4.1 设 (Xn > 1) 是 具有 分 布 (3.4.1) 的 随机 变量 序列 ，{rn,n 2 1) 
与 (fn > 1} 是 正 数 列 ， 其 中 fa € (0,1), 并 令 gn = 1— fa. 称 


II [ x J] cas 


Oki 
R, (e) = fon, X) (3.4.2) 
为 {Xk,1 < k < n) 相对 于 乘积 负 二 项 分 布 
II [ Xx J K (uy, m € S. Skan (3.4.3) 
k=1 


的 似 然 比 ， 其 中 w 为 样本 点 ， Xk(w) 简 记 为 Xs. 

定理 3.4.1( 刘 文 、 刘 玉 灿 1995) 设 {Xan > 1) 是 具有 分 布 (3.4.1) 的 随机 变 
量 序列 ， on(t1,… ta) 是 定义 在 S" 上 的 实 值 函数 ， 简 记 on(X1,… ,Xn) 为 om， 
Ra(w) 由 (3.4.2) EX, A 


a — inf(f,,n > 1) > 0. (8.4.4) 
XEM»00zxczlXWE, D(c) 为 满足 下 列 条 件 的 样本 点 o 的 全 体 : 


lim fn = +00, (3.4.5) 
no 


lim sup 1 Y rea < M, (3.4.6) 


n-—roo n k=1 
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lim inf — In Ra(w) > —c, (3.4.7) 
n+ On 

则 


imsup 二 》、 (x - ze) < iel 


noo n k=i 


(1 一 2) +c as. 于 Die), (3.4.8) 


lim inf — 22 P ) > - [u + 2 a|* as. 于 D(e). (3.4.9) 

注 3.4.1 在 以 上 定理 中 , 我 们 通过 条 件 (3.4.5) — (3.4.7) 限定 样本 空间 的 一 个 
子 集 Dic), 并 在 此 子 集 上 研究 比值 (1/08) > a (Xk — raqa) 当 n — oo 时 的 极限 
性 质 . on 是 强大 数 定理 的 和 式 中 的 项 数 ”的 推广 ， 所 以 自然 要 求 c, 满足 条 件 
(3.4.5)， 条 件 (3.4.0) 表示 ， 在 Dou red. > co 的 情况 下 ， s, — oo 的 阶 应 不 
EF Erara BT. 这 个 条 件 是 对 本 文 所 用 方法 适用 范围 的 一 种 限制 。 当 此 条 
件 不 满足 时 ， 研 究 上 述 比 值 的 极限 性 质 需 要 更 精细 的 方法 。 {3.4.7) 是 限定 Dle) 
的 核心 条 件 ， 其 中 的 伏 然 出 可 以 看 做 是 {Xs,1 < k < n) 与 具有 乘积 负 二 项 分 布 
(3.4.3) 的 独立 随机 变量 序列 之 间 的 偏差 的 一 种 随机 度量 . 当 且 仅 当 X,.G < k < n) 
服从 参数 为 (rn; fu) 的 负 二 项 分 布 且 相互 独立 时 ， Rw(w) = 1. 推论 3.4.5 表明 ， 在 
一 盘 情 况 下 人 恒 有 limsup, ,wllfon)ln Rn(w) < 0a.s.,w € D. 因此 粗略 地 说 ， 条 件 
(3.4.7) 可 以 看 成 是 对 {Xn,n > 1) 与 具有 分 布 (3.4.3) 的 独立 随机 变量 序列 的 偏离 
的 一 种 限制 ， ec 越 小 ( 即 越 接近 0), 偏离 越 小 ， 上 述 定理 表明 ， 在 此 限制 下 ， 上 比值 
(1/04) RCR — rage/ fk) 也 受到 相应 的 限制 ， (3.4.8) 与 (3.4.9) 给 出 的 就 是 此 
比值 相应 于 c 的 上 、 下 限 . 易 见 当 c 很 小 时 ， 此 上 ， 下 限 的 绝对 值 很 小 ， 从 以 下 的 
证 明 可 以 看 出 ， 以 似 然 比 作 为 上 述 偏 差 的 度量 对 这 种 情 灌 的 出 现 起 着 关键 作用 . 

证 采用 刘 文 (1990a) 中 提出 的 方法 ， 取 w = [0,1), 其 中 Lebesgue 可 测 集 的 
全 体 和 Lebesgue 测度 P 组 成 所 考虑 的 概率 空间 ， 首 先 给 出 具有 分 布 (3.4.1) 的 随 
机 变量 序列 在 此 概率 空间 中 的 一 种 实现 . 

KEKE [0,1) 按 比 例 f(0) : 了 (1) :… 分 成 可 列 个 左 闭 右 开 区 出 : 


Do = [0, f(0)), = [/(0), f(0) + f(1)), 
这 些 区 间 都 称 为 一 阶 区 向 ， 易 知 
P(D,)-7f(zxih z1 € S. 
设 n 阶 区 间 D, uu, 已 定义 ， 将 它 按 比例 


finc 29,0): f(z1,- SEQ): 
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分 成 可 列 个 左 闭 右 开 区 间 Danos (za = 01……) 这 样 就 得 到 n+1 阶 区 间 . 
由 归纳 法 知 对 任何 % 有 


P(D;,...=.) = f(zus: 7 m2). (3.4.10) 
定义 随机 变量 X, : [0,1) +> S W F: 
Xn(w) = Xa, M w E Das. (3.4.11) 
由 (3.4.10) 5j (3.4.11), 有 
{w : Xi = me {3.4.12) 
P(X = 21, ,Kn = £n) 一 zl Xn) (3.4.13) 


于 是 {Xn,n > 1) 具有 分 布 (3.41). 下 面 我 们 就 {Xn} 的 上 述 实 现 来 证 明定 理 . 
设 各 阶 区 间 (LEFKE [0,1)) 的 全 体 为 A, À € (0, 1:35) 为 常数 ， 在 4 上 定 
义 集 函 数 a 如 下 : 


二 kl Th š 12e) Tk fà „Ik 
(Dazn) = À II( D ( x, ) fiae, (3.4.14) 
p([.1)) = 7 Da). (3.4.15) 
z€ S 


由 (3.4.14), 24 n > 工时 有 
> (Dean) = (Dou, s) > [ x. J (1 — Aq.) ^ (-Aan") 
Xn ES X.€5 n 
= n(Ds, m, 小 (8.4.16) 
由 (3.415) 与 (3:416), 知 u 是 A 上 的 可 加 集 函 数 ， 由 此 知 存在 [0,1) 上 的 增 函 数 
fx. 使 得 对 任何 Dorn 有 
RD = JADE uu) 7 AO au) (3.4.17) 
其 中 DL... Dzn 分 别 表示 Dane, 的 右 、 左 端点 ， 令 


_ FAR. ) 一 JA, s) B n(D.,,,...=,) 
tao) _ Di e, 一 Daora i F(z, "tt (XR) 
E f, 的 可 微 点 的 全 体 为 4 为 ， 由 单调 函数 导数 存在 定理 ， 知 P(A(A)) = 1, X 
w € A(X), Dass, 是 包含 o M nI. 24 lima ye P(D.,....) = 0 时 根据 导数 
的 性 质 ， 由 (3.4.18), 有 


w E D... (3.4.18) 


Jim £4(À,u) = Fe) < oo. 
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M limno PD。 =d>0 时 ， 有 


lm £4(A,0) = lim — < oo, 


TV a 


故 
dim (u) = 有限 数 ，w € A0). 


由 (3.4.5) 与 (3.4.19), 有 


lim sup = Int,(4,u) <0, we AAN D(o). 


于 一 Do 


Sn = Y x. 


k=1 


由 (3.4.2), (3.4.11) 与 (3.4.14), 有 


Int, (À, w) = S,1nA — >” In 1 入 +n Rnw). 
H (3.4.7), 有 
lim inf -In Ralu) > -ce « € D(e). 


"O0 On 


Et (3.4.20), (3.4.22) 5 (3.4.23), 有 


; 1 z Je 
— — < ` 
lim sup 元 (s in À > T| ln 1 x) <e, weA(A)nD(ce) 


HE à € (1,44), $6 (3.4.24) 两 边 同 除 以 In X, 得 


1 Zr 
lim sup — (s. - ER) < Ey w € A(A) n Dle). 
由 (3.4.25) 及 上 极限 的 性 质 


limsup(a, — bn) < d => limsup(a, — cn) < limsup(b, — c4) + d, 
Tic nx 


Roe 


lim sup ! EN xi 
n—oc In k= f 


< lims ly —L 3t]. E, we A(X)nD(e) 
cO gy aTe mA lA " d 


(3.4.19) 


(3.4.20) 


(3.4.21) 


(3.4.22) 


(3.4.23) 


(3.4.24) 


(3.4.25) 


(3.4.28) 


(3.4.27) 
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由 (3.4.27), 不 等 式 
l1-l/z <Inz <z-1 (zr>0), (3.4.28) 


及 (3.44) 5 (3.4.6), 有 


. 1 < (A — 1)g. _ € 
< limsup — Dn (n xdi EP 


À 1 c 
< lim sup — r 一 一 | 十 5 +e 
iens 1— Mq 4) A-1 


_ OC DM + 
< aa- a 


下 面 我 们 进一步 限制 的 取 值 范围 ， 并 通过 适当 放大 来 简化 (3.4.29) 右 端的 
表达 式 . W 1 < A < nt qq, K 1 — A(1 7 o) > of2, 故 有 


Y + e, w € A(A) n D(e). (3.4.29) 


A—1 2() — 1) 
一 一 一 一 一 sS . 
1-A(1-a)^ a 


(3.4.30) 
HR (3.4.29) 与 (3.4.30), 有 


lim sup 一 (s 一 Y za) < 2M 2) 十 二 +e, w € A(N D(e). (3.4.31) 


no Un ki JR 


4 0 < c< 1, Æ (3:531) PE A 1 av/e/[2(1— a), 得 


. 1 Cg 
im (7. M PEE ter vj te 
€ A (1+ ; "un ;) n D(c). (3.4.32) 
由 于 P(AG o e/[2(1—a)])) = 1, SK E (3.4.32), 124 0 < c <1 Ht (3.4.8) 成 立 . 当 


c=0 hf, 取 À; € (1, Ca). -1,2,-., 使 ÀM; — i — oo), 3f A. = NZ Al) 
WxE— ç H (3.4.31), 有 


lim sup l (s 一 J <0, wE A, ND. (3.4.33) 


noo Tn 


本 
TT 


Ted. 
7 f 


由 于 P(A.) = 1, 故 由 (3.4.33) 知 ， 当 e= 0 时 (3.4.8) 也 成 立 . 


- 128 . 强 偏差 定理 与 分 析 方 藻 


Bx À € (0,1). 将 (3.4.24) PEBE In A, 得 


n Tk In T Am. X c 
lim inf 一 -(s. -5 — k ) > —, o € A(A) r Die). (3.4.34) 
k=1 jn À 


H (3.4.34), (3.4.8) 及 下 极限 的 性 质 


lim inf (an _ b,) > d = lim inf (an — cx.) > lim inf {bn —c,)+ d (3.4.35) 


— 1- 和 hk 9 £ 
mii Yn EX Altma 
A-1 
1 — Agk 1 


e 
I T2 mm TR tux 


c 
> 一 
pz 22 Us — Àdk cin A-1*^ 


| (Q-0M | DM. c 
Z R -aA AIT 
> OD | w € A(X) n D(c). (3.4.36) 


当 0<c<1 时 ， 在 (3.4.36) 中 令 A = 1 — o? ve, 得 


limint Š (s - xm) > 一 Vc(M 十 6 w € A(1i- a? c) D(e). (3.4.37) 
由 于 P(A(1-o?Jc)) = 1, 故 由 (3.4.37) 4, 34 0 < c < 1 时 13.4.9) pr. DR 
(3.4.33) 的 证 明 可 知 当 c=0 时 (3.4.9) 也 成 立 . 

注 3.4.2 在 以 上 的 证 明 中 ， (3.4.32) 5 (3.4.37) 是 通过 用 试探 性 的 方法 适当 
选取 À 的 值 而 得 到 的 ， 这 种 方法 虽然 不 够 精细 ， 但 所 得 出 的 lim sup, (1/74) 
Yu 一 rkGQk/ fx) 的 上 限 与 liminfs 4o (1/o4) p(X 一 Tkqk/ fx) 的 下 限 当 
c 一 0+ 时 都 是 与 Ve 同 阶 的 无 穷 小 ， 这 正 是 我 们 所 预期 的 结果 ， 有 竺 改进 的 是 比 
例 系 数 的 问题 . 
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推论 3.4.1 在 定理 3.4.1 的 假设 下 ， 有 


Jim. = > (x. - na) =0 as, we D(0) (3.4.38) 
证 在 13.4.8) 与 (3.4.9) rp c = 0 H4. 
推论 3.4.2. 设 {Xn n > 1) 相 筷 独立 且 服 从 参数 为 (rn, fu) 的 负 二 项 分 布 ， 
如 果 M (Taqa = co H o = inf(fa n > 1) > 0, 则 


dim — > (x. - ==) =0 as. (3.4.39) 
Y ina f 
k-1 
证 此 时 Raw) = 1. 4 dalti sta) = Ye (raqa | M = 1, Wi] (3.4.5) 与 
(3.1.6) 成 立 ， 于 是 有 D(0) = [0,1). 因而 由 (3.4.38), 即 得 (3.4.39). 
推论 3.4.3 É {Xn,n > 1) 是 相互 独立 且 服 从 参数 为 (rs fu) 的 负 二 项 分 
布 . 令 mn — E(X, ). 如 果 5a T4 = OO, Ho- inf( fnn 之 1) > 0. 则 


lim EFL —1 as. (3.4.40) 


证 ^ Tafti sin) = Pral mk, M = 1. BT Mk = rggk/ frs 故 (3.4.6) 成 
x. Td 


=0 as, (3.4.41) 


BB (3.4.40) 成 立 . | 
推论 3.4.4 设 (X. > 1) fH 3RhR3r B RA#W# 323 (rss fa) 的 负 二 项 分 布 . 
如 果 Bai Ta = 00, Ë a= inf{fn n > 1} > 0, M 


lim Æ =) as.. (3.4.42) 


证 令 e(t, ,tn) 三 Y kaif, M=1 即 得 . 
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推论 3.4.5 在 定理 1 的 假设 下 ， $ 


D = (w: Jim Gn(X1,: , X4) = oc), (3.4.43) 


lim In R,(w) <0 as, w€ D. (3.4.44) 


n—oo Fn 


证 Æ (34.22) p4 À) = 1, 得 
Ral) = t,(1,o). | (3.4.45) 


由 (3.4.45), (3.4.43) 与 (3.4.9), 即 得 (3.4.44). 

i£ 3.43. 设 当 c < 0 时 ，D(c) 仍 定义 为 满足 条 件 (3.4.5) —(3.4.7) 的 点 的 全 
fk. 由 于 Dle) C D, 故 由 (3.4.44) 及 (3.4.7) 知 ， 当 ec cO 时 有 P(D(c)) = 0. 这 就 
是 定理 中 假设 c>0 的 原因 . 


93.5 相对 精密 度 与 二 进 信 渐 的 若 于 极限 性 质 
设 {Xn,n > 1) 是 字母 集 S = {0,1} 上 的 任意 二 进 信 源 ， 其 联合 分 布 为 
P(X1 = fitt , X, = zm.) = pTi, t Za) >Ü, ES, 1l<i<n. (3.5.1) 


* 1 
flw) = - dpi, Xn). (3.5.2) 


Jala) 称 为 {Xi,1 < š < n) WARMER WA {fn,n > 让 在 一 定 意义 下 的 极限 
性 质 是 信息 论 中 的 一 个 重要 问题 (参见 Barron 1985 及 其 所 引文 献 ). 本 节 的 目的 是 
权利 用 这 个 概念 研究 任意 二 进 信 源 的 一 类 极限 性 质 . 

W {Xn,m > 1) 是 具有 分 布 (3.5.1) 的 任意 二 进 信 源 ， pn € (0,1),n = 1,2,.……， 
是 给 定 的 实数 列 ， 令 


pn(w) = 2» x In p; + (1 — X;)ln(1 — pj) - 2 np(X,.. . XJ. (3.5.3) 
palo) 称 为 {Xi,1 i < n) 4HSETSRELAME [D pP (0-7 0)177 的 焕 密 度 偏 差 ( 参 
见 刘 诡 19882 及 1989a). 

定理 3.5.1( 刘 文 、 杨 卫 国 1994a) i: (X,,n > 1) 是 具有 分 布 (3.5.1) 的 任意 二 
MEUS. {amn > 1} 为 一 数列 ，wpn(w) 是 由 (3.5.3) 定义 ，c 次 非 负 常 数 ，a > 0. 
设 n 

ba = lim sup - Y oipie < 十 oo， (3.5.4) 


i=l 
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D(e) = {w : lim sup pn(w) > —e}, (3.5.5) 


gu 
1) S c € o?b, Bf, 


limsup = |a - Den < 2Veb。as. 于 Dle); (3.5.6) 
2) 4 c > a?b, PF, 
lim sup = P Doan) < ¥ < 一 as 于 D(c); (3.5.7) 
3) 35 c < o2b,, Bf. 
imior 1 ^x, -Yaa > —2/eba as. F Dlo: (3.5.8) 
ici i=1 
4) H c» a2b。 Hf, 


lim inf — ! [3 Yani] > -= as. T Dí(c)y (3.5.9) 


i 二 1 


5) 4 c=0 HT, 


Jm Ej POS ae] =0 as. 于 D(0). (3.5.10) 
证 Hz Q = [0,1), 其 中 的 Lebesgue 可 测 集 的 全 体 Z 和 Lebesgue 测度 P 为 所 
考虑 的 概率 空间 53.1 中 给 出 了 具有 分 布 (3.5.1) 的 二 进 信 源 (X, n > 11 在 此 概 
率 空 间 中 的 一 种 实现 ， 本 节 就 这 一 实现 来 讨论 . 
设 各 阶 区 间 的 全 和 体 (包括 等 阶 区 间 [0, 1)) 为 A, 和 为 实 常数 . 在 A 上 定义 集 函 
BuT A u([01)-— 1. W D, 是 n 阶 区 间 ， 令 
MDa- ads AÐ a z} ] pps (3.5.11) 


ici 1 + (e^: — 1)p; 


i=1 


Ar p R A EJ nf NIE Ps Sk. 由 此 知 存在 10.1) Et ERE s 使 得 对 任何 Deu, 
有 

BUD, Lu) = JU, "m _ f, au) 
其 中 D+ 5 Dgan SWAR Dass, 的 左右 端点 ， 念 


Ha = PPa ST PASS 


tn A,i 一 
[ 2) P( Doreen) Di. Uy — Dx... ET 


w € Deen. — (35.2) 
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Wt fx 的 可 微 点 的 全 体 为 AA), W| P(A(Q)) = 1, 


im tnl w) = ERY, v € AN) (3.5.13) 
由 (3.5.13), 有 
lim sup — Int (Aa) <0, w€ A(À). (3.5.14) 


H (3.5.11) 及 (3.5.12), 有 

L Intn (A,w) = 2 Y aX; — = Y In | + (e^ 一 Dp +e. (o), u € [0,1). (3.5.15) 
由 (3.5.14) 与 (3.5.15), 有 

lim sup Ë Y a, X, — 33 In(1 + (e — 1p) + e«t) «0, wc AQ). (3.516) 
由 (3.5.5) 与 (3.5.16), 有 

lim sup Ë ex, 一 - Y In(1 + (e= 一 Da] <e, wc A(X)n D(e). (3.5.17) 

MÀ A > O 时 将 [3.5.17) 两 边 同 除 以 入 得 
lim sup É Dak _ z > i In(1 + (e^: — 9] « i w € AAJN D(e). (3.5.18) 


由 (3.5.18 、， 上 极限 性 质 


lim sup(a, — ba) < e => limsup(a,, — ea) < limsup(b, — Cn) + e, (3.5.19) 
"n—o2 noo noo 
及 不 等 式 
I(1+z)< z, z> -1, (3.5.20) 
0ce*—1-—z «sell, (3.5.21) 


， 1— [1 a € 
< limsup z > f In[1-- (e?*: — Lpi] 一 eni] t + 
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< Alim sup ~ Xd 25e eil 十 $, w € A(A N D(e). (3.5.22) 


当 0 < 和 A<a 时 ， 由 (3.5.22) 及 (3.5.4), 有 


limsup — JÈ ai X; — -Sa < b,A + Y w € A(A)n D(c (3.5.23) 
一 工 i=1 
1) 34 0 < e < o2b, PF, PEE g(A) = bA +È (0 <À € a) £ À = Ve/b, 处 取 
得 最 小 值 9( Vefba) = 2Veba, 于 是 在 (3.5.23) 中 令 A = Vefba, 得 


limsup = [zo - Yan] < 2y cba, w € A(/e/b,) D(c) (3.5.24) 
由 于 P(A y c/ba)) = 1, #& H (3.5.24) 知 (3.5.6) 成 立 . 

2) 仿照 (3.1.44) 的 证 明知 ， 当 e=0 Bf (3.5.6) 亦 成 立 ， 

3) ` c > aba Wf, fr (3.5.23) HE à = a, 得 


lim sup 一 [Xo -Fan € oba ub < =, w€A(o)nD(e). (3.5.25) 


n—900 
4 一 1 


由 于 P(A(a)) = 1, 故 由 (3.5.25) 知 此 时 (3.5.7) 成 立 . 
类 做， 利用 当 A<0 时 的 (3.5.17), 可 以 证 明 (3.5.8) — (3.5.10) 成 立 ， 证 毕 . 
注 3.5.1 在 (3.5.16) R A = 0, 注意 到 P(A(0)) = 1, 有 


limsup pn(w) <0 as. (3.5.26) 
H (3.5.26) 及 D(0) 的 定义 ， 有 
im Qa(w)-0 a.s. 于 D(0). (3.5.27) 


在 定理 3.5.1 中 取 a= 1l, an = l(n-—1,2,...), 得 如 下 的 推论 . 
推论 3.5.1 — 


b = limsup 一 Do (3.5.28) 
$,- Y x, (3.5.29) 

则 当 com 8 
lim sup — -|s. -Yn| < 2vcb as. 于 D(c), (3.5.30) 


z=1 
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pj 


limint 4 Ís, -Yr > —Veb as. + Dle). 
当 c=0 时， 由 (3.5.30) 5j (3.5.31), 得 
lim -|s. -Y | -0 as T D(0). 
i=l 


推论 3.5.2 在 定理 3.5.1 的 条 件 下 ， 令 


1 re 
b = limsup — Y (In p)2pi/2, 
meup a 2 (In p) pi : 


) «es 时 ,有 


lim sup 一 [5c In pi)X; — > appi < Š 


YE 一 OO 
z=1 


i: 


a.s. + D(c), 


n 


和 一 
i= i=l 


TEN ü 


lim sup = l p In pi) Xi — Da iain] «4c as. 于 D(c), 


i-1l 


mint } | C Inga, 一 Y chon] > —4c as. 于 D(c). 


i=j i=l 


amir. |) (— Inp;)X; 一 Y pip >- as. T Dí(c). 
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(3.5.31) 


(3.5.32) 


(3.5.33) 


(3.5.34) 


(3.5.35) 


(3.5.36) 


(3.5.37) 


证 在 定理 3.5.1 h, a= lp (i= 1,2,.…),a= 5 注意 到 函数 (In z)2zr17? 
在 区 间 上 有 最 大 值 16e-2, B] 


21/21 _ 1go-7 
max fn z) zE} = 16e —“. 


由 (3.5.4),(3.5.33) 5j (3.5.38), 有 


lw 。 1c 1 
bi = -3 25,02:/2 — ] 二 ` Inn, T9? = b < -2 
wn — isi Pn 24 api p; =b & 16e 


"es, H 56) 与 (1539), 有 


(3.5.38) 


(3.5.39) 


limsup 2 [Enp 一 S- nap < 2Vbe < Bve as. 于 D(e). 


i=1 
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由 (3.5.8) 与 (3.5.39), 有 
mi } [DC ln pi) X; _ Yh OP. > —2vbe > -8ye as. T Dí(«c) 
— Dpij^i Pisi] 2 Pa e S. . 


i=l 
故 (3.5.34) 与 (3.5.35) 成 立 . 
E e > 2 时 ， (3.5.36) 与 (3.5.37) 可 直接 由 (3.5.7) 与 (3.5.9) 得 出 . 
定理 3.5.2[ 刘 文 、 杨 卫 国 19942) 在 定理 3.5.1 的 条 件 下 ， 设 ac > 0， 
da = lim sup L Yo — pj)e?l*l! < +00, (3.5.40) 


i-1 


则 有 
1) 4 c < o°*d,, 时 ， 有 


imep [372 (1— Xj) — Yat -本 | szv 瑟 a.s. 于 D(c. (3.5.41) 


izl LES! 


2)3 c» o? d, tt, A 


limsup 一 [E l1- X;)- Sal- p] < - as. + Dic). (3.5.42) 


noo ici 
3) 34 e< o?d, Bf, 有 


imita [ou - Xi) — yal -») > -2Vcd. as. T D(c) (3.5.43) 


4) 4 c» o?d, 时 ， 有 


n n > 
lim inf = pu 一 发 让 一 2; 一 n) > -= as. 于 D(c). (3.5.44) 


5) c-0H, d 
im Sea — Xi) 一 Fal -可 | =Ü as. 于 D(D). (3.5.45) 
i=l i-1l 


证 明 与 定理 3.5.1 264p, Eik ARE. 
推论 3.5.8 在 定理 3.5.2 的 条 件 下 ， 令 


d = lim sup 1 Sina - p) (1 — 233, (3.5.46) 
naw TL icl 


: 136 - SR LX ELE 


1) 当 c < Hf, 8 


| 


lim sup d Y Gü - Xi)(~In(l— pi))— La- p:)(— In (1 — s) «5 2 


noo 


m 


i= 


as. 于 D(e), (3.5.47) 
imit [2 - xata - 0 - 20 - 9-180 - 9] 2 -5£ 
i=l 
a.s. 于 Dí(e). (3.5.48) 


2) 5c» 工时 ， 有 
lim sup — : [ox 1 - X)(-In(1 —5)) -$ (1 - »)(- In (1 -») < 4c 
i=l i=i 
as. 于 D(c), (3.5.49) 
lim inf ~ JP»: -XY-1-2)) -»'0-»)-nü ~p) > —4c 


a.s. 于 D(c). (3.5.50) 
证 在 定理 352 h$ a --hü-p) G-12--)a- z. 由 (3540 
(3.5.46) 与 (3.5.38), 有 
dy = limsup $ 3 sal (1- pie? = tim sup 7) Qn(1-p0) (1-9) = d ç 167 
= = (3.5.51) 
M ec s BI, HI (3.5.41) 与 (3.5.51), 有 


limsupz | 1 ~ X0(-I (ü =p) - 30 - pO- =p) 


noo i-l i=j 
< Wed < aye as. + D(e). 
由 (3.5.43) 与 (3.5.51), 有 


lim inf — ;|Xa- X,)(—In (1 — »j)) - Ya — pi)( - In (1 -»)) 


f=] 
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> -2vVed > -3 a.s. 于 D(e}- 


故 (3.5.47) 与 (3.5.48) 成 立 ， 
o z Bf, (3.5.49) 与 (3.5.50) 可 直接 由 (3.5.42) 55 (3.5.44) 推出 . 
定理 3.5.3( 刘 文 . 杨 卫 国 1994aj 设 {Xn,n 2 1} 是 具有 分 布 (3.5.1) 的 任意 二 
HEM, {faun > 1) 是 由 (3.5.2) 4g LIFT REIP SU, Dle) b d 分 别 由 (3.5.5), 
(3.5.33) 与 (3.5.46) 定义 ， H(p, (1 — p)) 表示 Bernoulli 分 布 (p.1— p) Wii, HI 


Hip. (1 — p)) = —[plup + (1 — p)In(1 — p)]. (3.5.52) 
A 
max {4,4} = A, nin [52] =a, (3.5.53) 
则 
1) 3 ce ga 了 时， 有 
lim sup [sta _ 1 Y Híp;1 -») < 16 € ass, 于 D(c), (3.5.54) 
#— DC n il e 
lis inf 区 - LS Hga -») >- ( + as 于 D(e). (3.5.58) 
izl 
2) e> Alt, £ 
lim asup | 6 - 一 一 iyu Pi L -中 | <e as. 于 D(c), (3.5.56) 
n = 
liminf | 一 ly H(ni,1 -») > —9c as. 于 D(ce). (3.5.57) 
i=l 


3) qa <c< AB, A 


lim sup [jn w- E Hn - po] < Š < 一 -一 8c +4e as. 于 Die), (3.5.58) 


i=l 


lim inf iato) 一 nÈ H1 一 p] 二 一 e 十 sc) as. D(c) (3.5.59) 
4) 34 c—0 Rf, A 


lim [z fale) 一 j- Date -») =0 as. T D(0) (3.5.60) 


1- >G 
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证 ec 由 (3.5.34) (3.5.47), 有 


c < a hf, 
lim sup 2{- Mx; inpet (1- X) In pH nite 017p) n 1-09] 
e ici 
X 


= limsup — [X ;Inp; + (1 - Xi)tn(1 — »)] - $ H(po1 -本 | 
< 18 as. F D(o). (3.5.61) 


由 (3.5.61), (3.5.3), (3.5.19) 5 {3.5.26), 有 


lineup | falo) - 1 35 HG - 9] «lime esto) + EE ç 19V , p, 


— e e 
故 (3.5.54) 成 立 . 
由 (3.5.35) 与 (3.5.48), 有 
liminf - ib Y Inp; + a- Am p) - 3701-79) 
> ve as. T D(e). (3.5.62) 


由 (3.5.62), (3.5.3), (3.5.5) 及 下 极限 的 性 质 ， 有 
liminf | 一 = Ys (p:,1 -») > liminf pnw) 一 Hve 
t=1 


> —(c + tvt, a.s. F D(e). 
故 (3.5.55) 成 立 . 

类 似 , 由 (3.5.36), (3.5.49), (3.5.3) ，(3:5.26) 及 上 极限 的 性 质 可 得 (3.5.56) ; 由 
(3.5.37)，(3.5.50)，(3.5.3) 与 (3.5.5) 可 得 (3.5.57) ; 由 (3.5.34) BR (3.5.36), (3.5.47) 
或 (3.5.49), (3.5.3) 5j (3.5.26) 可 得 (3.5.58) ; 由 (3.5.35) 或 (3.5.37), (8.5.48) 或 
(3.5.80), (3.5.3) 与 (3.5.5) 可 得 (3.5.59). 

34 c=0B, HH (3.5.54) 与 (3.5.55) 即 得 (3.5.60). 证 毕 . 

定理 3.5.4( 刘 文 、 杨 卫 国 1994a) I (X,,n > 1) 是 状态 空间 为 5 = (0,1) 的 
非 齐 次 马 氏 位 源 ， 其 初始 分 布 与 转移 矩阵 列 分 别 为 


(a0) 9(1), gi) > 0, i=0,1, (3.5.63) 


(Pali, j) Pali) >0, ijES, n22, (3.5.64) 
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其 中 pn(i,7) = P(X, = j|X, 1-21) Xi 
(px(0).px(1)), G) >0, j€S, k>1 


是 5 上 的 一 到 分 布 ， 所 (w) 为 {Xk,1 < k < n) MESE X 


Jim. 3» BO and - 1 =0, vijes, (3.5.65) 
则 
dim [at 1D fos.) =0 as. (3.5.86) 


证 采用 定理 3.5.1 证 明 中 所 给 出 的 {XX,n > 1) 在 概率 空间 ([0,1), Z, P) 中 
的 实现 ， 此 时 {n,n > 1) 的 联合 分 布 及 相应 的 精密 度 为 


p(zi.''' Tn) = e(0) [[ 59522) (3.5.67) 
k=2 
fale) = -1 [m q(X:) 4 Y In pis X). (3.5.68) 
k—2 
在 (3.5.3) H, $ 
Pr = pa(1)  1— pa = pa(0). 
注意 到 


Xr In py, 十 {1 一 Xy)In (1 — p.) 一 In p ( Xk), 
由 (3.5.3) 与 (3.5.68), 有 
palu) = 1 Dinpe(Xe) - 2 Ing) Y mpata] 
k=1 k=2 


aM . (3.5.69) 


1 A Pk 
—|lIna( X1) 一 ] Xi)+ ) ln 
a [406 Inn 06) + D s Ps 


Bries, 6,0) Æ S 上 的 Kronecker ó ñ S. PATEA In z < z — 1(z > 0), # 
XL - 3:3: Y 08-0508) B6 


n 这 2 i—0 j=0 


ds (X415; Xx [ee i) -中 


k=2 i=0 j=0 


I^ 


- 140 . # Eu ELE 


1y-y-y- [n2 | 
29535030 SUE EET (3.5.70) 
n icu xol PRU) | 
由 (3.5.65) 与 (3.5.70), 有 
Ph Xii. X4) 
limsu In <0, we [0,1). 3.5.71 
msup — 2» " mOS) [D. 1) (3.5.71) 


—2 
H (3.5.71) 5j (3.5.69), 有 
lim inf gu(w) 2 0, w € 0,1). (3.5.72) 
由 (3.5.5) 与 (3.5.72), 有 D(0) = (0,1). 于 是 由 定理 3.5.3 的 (3.5.60) XH (3.5.66) 成 


3X. WEE. 
推论 3.5.4 设 定理 3.5.4 的 条 件 满足 ， 捉 果 


1 "n 
lim inf — > H (pi(0), p:(1)) > 0, (3.5.73) 


JU {Xun 2 1) 是 信息 稳定 的 ， 因 而 对 此 信 源 定 长 编码 定理 成 立 . 
证 HF {flen > 1) XF n 一 致 可 积 (参见 Ash 1975, p.158), H 
E{ fn) = - HUE + X4) 


其 中 H(X e Xn) Ë (Xi, Xn) EA, 故 由 (3.5.66), 有 


lim [go , X.) 一 =D Hop) =0. (3.5.74) 
i=1 


H (3.5.66) 与 (3.5.74), f$ 
Jim Ls) — - HG, -- X) — 0 a.s.. (3.5.75) 
由 (3.5.74), (3.5.73) 及 下 极限 性 质 ， 有 


. . [1 2e 
lim inf ERI es XJ > lim inf a 2 Hpi(0), pi) > 0. (3.5.76) 


由 (3.5.75) 5 (3.5.76), 有 


|- Inp(Xi,--- Xn) 


H(X3,- , Xn) -| =0 as. (3.5.77) 


lim 


n> 
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故 {Xn,n > 1} 是 信息 稳定 的 ， 国 而 对 此 信和 源 定 长 编码 定理 或 立 ( 见 孟 庆生 1986, 
p-136). 

推论 3.5.8 W [X.,n 2 1) REEL (3.5.63) 为 初始 分 布 ， (3.5.64) 为 转移 矩阵 
列 的 非 齐 次 马 氏 信 源 .又 设 


(L - p,p) = {Pop} p> 0 (3.5.78) 


为 9 上 一 概率 分 布 ， 如 果 


1 n 
m 一 > lii) - 5| 9 0, V j € S, (3.5.79) 
k=2 
ny 
Jim [so — H(p,1— 2 =0 as. (3.5.80) 


证 由 (35.7), 有 


iy een i) i|=0 vijes. (3.5.81) 
J 


H (3.5.81) 及 定理 3.5.4, 即 得 (3.5.80). 

显然 ， 无 记忆 信和 源 的 Shannon-McMillan 定理 是 本 推论 的 特殊 情况 . 

引 理 3.5.4. WE (X,,n > 1} 是 具有 分 布 (3.5.1) 的 二 进 信 源 ， Dle) 由 (3.5.5) 
EX, 0<a<1 (n—1,,--), Wl 


1) lim sup — Zax- Yun] €cc2yc as. 于 LD(c) (3.5.82) 


i—1 


2) "4 0 < c < 1 FMN 


lim inf — [Zax i -Far >c- 2ye as. F D(c). (3.5.83) 
证 明 与 定理 3.5.1 类 似 ， 此 处 从 略 . 
定理 3.5.5( 刘 文 . 杨 卫 国 19948) Wb (X,,n2 1} 是 具有 分 布 (3.5.1) 的 任意 二 
EUR. v.(w) 与 Dle) 分 别 由 (3.5.3) 与 (3.5.5) EX, Aslo) 表示 Xi Xa, X. 
中 0 游程 的 个 数 ， 则 


1)limsup = Hlan (w)— Y» i - p] sat vo) as. T D(c) (3.5.84) 


i-l 
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2) lim inf - [449-3 «(a 一 ») <-4ye as. 于 Die. (3.5.85) 


其 中 po = 1. 
证 设 D... 是 n 阶 区 间 ， An (ZX1, ;Zn)( 简 记 为 An) # 31,121777 5 £n 中 
0 游程 的 个 数 ， 则 


Anla) = A«(21,229,7- Enh w € Duis (3.5.86) 
在 ÀA LgXSaE utum. $ 


i0. 1)) = 1, (8.5.87) 


(D...) = Are za) II pr ~ p) 
B mi" Tra 7 ~ 5n n + (À _ 1)(1 _ pt 


其 中 ro=4X>0 为 常数 .由于 A0 — 1,41) = 0, KA 
A(1— pi) Pi 


(3.5.88) 


B(Do) - i(D1) = IT] U p) ixü-Dü-m») = 1 = u([0,1)). (3.5.89) 
HP n > 1 BAJ 
_ Aga (21, "tT »Za-1) Tn = 1, 
4 (zl ma) = | rM (3.5.90) 


由 (3.5.88) 与 (3.5.90) Z p 是 A 上 的 可 加 和 集 函 数 ， 由 此 知 存在 [0, 1) 上 的 单 增 
函数 及, 使 得 对 任何 D, uA 


B(Dz, s) = AD uu) 一 f Dau 


(De as) UD n) ~ AD m) 


tw) = P(D,, s.) Di e Dee. 


, wE Dae. (3.5.91) 


设 f, 的 可 微 点 的 全 体 为 A(A). 与 (3.5.14) 2801, € 


lim sup i Int4(A,w) € 0, w EA). (3.5.92) 
noc 


H (3.5.3), (3.5.86), (3.5.88) Æ (3.5.91), 有 
L int (o) = 4st) InX— 5 X; iIn[1 + (A ~ (1> p] + ga(w), w € [0,1), 


i= 


(3.5.93) 
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其 中 令 Xo = 1. 由 (3.5.92) 与 (3.5.93), 有 


limsup (4562 InA - 1》 un In[1 + (A — 1Y(1 — »,)] + este) <0, u € A(2). 


(3.5.94) 
H (3.5.94) & (3.5.5), 有 


lim sup [ 459) ln À — iyu In[1 + (A — 1)(1 -az <e, w€ A(3)n D(e). 
i=1 


"O00 


(3.5.95) 
W À > 1. 将 (3.5.95) 两 边 同 除 以 A, 得 
lim sup (52 - M — 0-80. EC w € A(A)n D(o). 


(3.5.96) 
由 (3.5.00) 及 上 极限 的 性 质 ， 并 注意 到 不 等 式 1- 二 <lnz<z-1(z>0), 有 有 


lim sup Ë An(w) 一 一 You 1 a-») 
< limsup Ch? perge 一 ahat- — fi n 


noo 
i=l 


TIA 
= timsup (A " $n HER M 
n-o ;=1 
Re 
< limsupa Dx 1(1 一 pi) 一 一 P G-p) 
+(À— 1)+ce + Y: w € A(A) n D(c). (3.5.97) 


由 (3.5.82), 有 
imsup [7 DX- -mS Dil -») €2Vc-c as. 于 Dí(c). (3.5.98) 


B(e) 是 D(c) 中 使 (3.5.98) 成 立 的 w 的 全 体 ， 则 B(c) C Dle), B P(B(o)) = 
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P(D(c)), 于 是 由 (3.5.97) 与 (3.5.98), 有 


lim sup 2 [^s (w)- Y -1(1— pi) < Aet e)HFA- let T D? € A(4)nD(c). 
noo 二 


= (3.5.99) 
易 知 当 c > 0 EER gA) = X2VE+G+A-1I+e+T A> E A= i 
处 取得 最 小 值 > 
(E) = Ave(1 + ve). (3.5.100) 
1+ 2c 
于 是 在 (3.5.99) 中 令 À = Y Ve 并 利用 (3.5.100), 得 
lim sup 7 fanto) )- ra- -») < Av/c(1 * vc), we (Pe) n B(e). 
(3.5.101) 
H+ P(A (Ae) = —1,B(c) C D(e), E PUB(o) = P(D(e)), iki (3.5.101) ^n 
4 e > 0 f (3.5.84) 成 立 . 
仿照 (3.1.44) 的 证 明知 ， 当 c=0 时 (3.5.84) 亦 成 立 . 
类 似 ， 利 用 当 0< 入 < 1 的 (3.5.95), 可 以 证 明 (3.5.85) 成 立 . 
推论 3.5.6 在 定理 3.5.5 的 记号 下 有 
lim Ls (w) 一 Yat a-») =Ü as. T D0). (3.5.102) 


WE dE (3.5.84) 5j (3.5.85) rp c == 0 B4. 
推论 3.5.7 如 果 {Xn,n > 1} 相互 独立 ， 且 


P(Xa =1) = pn PlXn =0)=1-pa n=1,2,, 
则 
im ZA n(w) 一 yp i(1 -m0| =0 a.s.. 


作 一 OOD 
i=l 


证 这 是 因为 此 时 D0) = [0,1). 
83.6 整 值 随 机 变量 序列 的 m 元 序 组 的 强 偏差 定理 


W[X,n21) 是 在 3= {1,2,…} 中 取 值 的 随机 变量 序列 ， 其 联合 分 布 为 


P(Xi-ze Xn = £a} = fz ,Tn) > 0, n € S, 1<i<n. (3.6.1) 
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易 知 {Xn.n 1 独立 同 分 布 的 完 要 条 件 为 ， 存 在 S 上 的 一 列 分 布 


(p(1),p(2)..::), p())20,i€5, k>1, (3.6.2) 
使 得 对 任意 的 ma, 都 有 
fiz. Ue En) = IH». zk €'S, k > 1. (3.6.3) 
k=1 


为 了 表征 相仿 随机 变量 与 服从 (3.6.3) 的 独立 头 机 变量 之 间 的 差异 ， 我 们 引进 如 下 
WAZ: {Xunn > 1) 具有 分 布 (3.6.1), 称 


Talo) = [[[ AXX x) (3.6.4) 
k=1 
为 关于 乘积 分 布 (3.6.3) 的 似 然 比 ， 
设 m 为 一 正 整 数 ， 计 E51<k<m. 在 Sm 上 定义 一 个 函数 如 下 : 


1, ES (ti, sim) = (全 rim) 


0, (ty stm) X (i, sim): (3.6.5) 


Ó; i LEVER stm) = | 


对 于 n > m, ^ Sá (i1,* simi w) 为 m 元 序 组 (uc X) 中 m 元 序 
组 (i, ,im) 的 个 数 ， 由 (3.6.5) 4 


Sanli y... simi w) = X Gi i (Xy maa, ttt, Xx). (3.6.6) 
k=m 
iH (3.6.6) 得 
S, lia, ot im]; w) = y LIRE X mi Urt , Xk—_1)- (3.6.7) 
k=m 


定理 3.6.1( 刘 文 , 李 志 才 1995) Hm> 2. {Xn n > 1r. YE Sí (a, pimi w) 
如 上 定义 ，c 之 0 为 一 常数 ， 令 


D(c) = {w: lim inf(1/n) ln rnfeo) > —c]). (3.6.8) 
则 


limsup(1/n)[S, (i, Lal w) Snl yim Wplim)] € Wete as. + D. 
n (3.6.9) 
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#0<c¢c<1, W| 


liminf(1/n)[Ss (1, - -- rimi w) — Su i4 uim a; e)p(im)] > —2Vc as. 于 D. 
(8.6.10) 
证 在 下 述 讨 论 中 我 们 将 利用 刘 文 (1990) 中 的 方法 . Xx (0,1), Z, P) 为 概率 空 
间 , 此 处 三 为 [0, 1) 上 的 Lebesgue 可 测 集 的 全 体 ，P Lebesgue 测度 . 与 $2.2 的 
构造 完全 类 似 ,在 |0, 1) 中 可 以 构造 各 阶 区 间 (Da, z, € S. 0 < i < n, n > 1), 
并 给 出 具有 分 布 (3.6.1) 的 随机 变量 序列 {Xun > 1} 在 此 概率 空间 的 一 种 实现 . 
设 各 阶 区 间 CELA PE EXC] [0, 1)) 的 全 体 为 A 入 为 一 正 实数 ， 在 4 上 定义 集 函 
JE uw: & u(0.1) = 1. Ë Dus, 为 n 阶 区 间 ， 则 令 


B( D, au) = Teo] AE 84i [Zk maar ui) 


"n 


1 Pokom di dud (Zk—m-irsEk-1] 
| [ Fa- 55] (36-11) 
由 (3.6.11) 得 
RD cns) = B Das, peram nomen aa 
1 Ôi imi Tn maiis Tn) 
| |z +{à -1 E] (3.6.12) 


车 Tomas Énsa) = (4, uim ca), 则 由 (3.6.12), 可 得 


2 (Ds. Ut j= e ODE wn Aso imi: [Zn mais Xn) 


十 (一 1)pfim) 
_ B( Da, -r 
"iD d [ 2 X) 
(Dz. En- 1) 


71r -1püs) 2 0v im} + 1 — plim)) 


= u( De, s, i). (3.6.13) 
E (En-maisc Xa) Z (iii). 则 由 (3.6.12), 可 得 


Y u( Dess) - B(De, m, 1 》 pta) 


一 AD- 小 (3.6.14) 
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H (3.6.13) 和 (3.6.14) 4 u E 4 上 的 可 加 集 函 数 ， 由 此 知 存在 [0,1 上 的 增 函 数 
fx, 使 得 对 任何 Dz,.…z,,, 有 


n(D.,...,) = PAD an) — IMDi) (3.6.15) 
H D"... Dos 分 别 表 示 Do. 的 右 左 端点 ， 令 


(Dian) — SaD iaa) 
T 


zem 一 Dou. 


如 (入 w} 一 
B BD...) 
P(Da, ,...x.) 
A f, 的 可 微 点 的 全 体 为 4(A)， 由 单调 函数 导数 存在 定理 知 P(A()) = 1 TW 
w€A(A)w€D,.,,n21,2,-.34lm,,,P(D;.,,)-d»0Tmfh, 有 


; Lu BUD, s.) 
im OT EU, 


QUECDa.s, (3.6.16) 


< oo. (3.6.17) 


当 limn P(Di s.) =0 时 ， 根 据 导 数 的 一 个 性 质 ， 有 


Jim t.e) = fio) < oc. (3.6.18) 
由 (3.6.17) 5j (3.6.18), 得 
limsupfta(A,u)] "^ € 1, o € AQ). (3.8.19) 
H (3.6.19), 得 
limsup(1/n)Int4(A,w) € 0, w € A(A). (3.6.20) 


由 (3.6.16), (3.6.4), (3.6.6) 与 (3.6.7), 可 得 


OK 


M | , o € [0,1). 


(3.6.21) 


1 (1/n)S4 -1(i1,-- im- w) 
1-(A— orm] 
由 (3.6.20) 和 (3.6.21), 得 

limsup(1/n)[In >,,(a) + S«(t1 mA 


一 S5 1d, ttt sîm-1; W) In[1 + (À = Dplim)l} 
«0, we AQ). (3.6.22) 
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由 (3.6.22) 和 (3.6.8), 可 得 
lim sup(1 /my(S,(ü -imn w) nA 
~ Sali, imi to) 1n[1 + (À — D)p(š;,)]) 
< -liminf nra(w) < e, w € AQ) D(e). (3.6.23) 


É À > OL 将 [3.4.23) 两 边 同 除 以 In A, 得 


m sup(1/n) { Sali ii) nA = Sca D o) Delin) 


< EY w € A()n D(o). (3.6.24) 
由 (3.6.24) 及 上 极限 的 性 质 


lim supfan — bn} < d == lim suplan — cn) < limsup(b,, — c.) + d 
noo Tn— o 


路 -下 DC 


和 不 等 式 1-1/z<lnz<z-l (z > 1 并 注意 到 0<(1/m)j5 a (5. Em ww)<1， 
得 


lmsup(1/n)[S, (à It imja) -5 Ah It XIm-1iw)p(éa)] 
noo 


€ limsup(1/n)Ss (i -- i cii) — Dre - plim) } +— 


nc In À In À 
ÀAÀ—1 ， c 
< (255 一 Plim) + 1-1/À 
c 
SA-1+e+ IT ec A0)nD(. (3.6.25) 


当 e > 0 时 ， 易 知 通 数 g() = A- Let LA» 1) f£ Ac 1 Vs 处 达到 它 在 


(1,00) 上 的 最 小 值 gi + ye) = 2 /c c. Æ (3.6.25) 中 令 A=1+wc, 得 
limsup(1/m)[S,,(i imi w) — Sn- lii iim ca; Ww)plim)] € 2/c + c, 


w € A(1 + Ve) n Dle). (3.6.26) 
hF P(AQ + Ve)) = 1, 则 由 (3.6.26), 可 得 (3.6.9). + 


A*= ñ A(1 HLE), 


k=1 
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iH (3.6.24), 可 得 


limsup(1/n) {Sai esia) = Sois imi E Rn) « 0, 


In(1 + 1/k) 
w € A* n D(0). (3.6.27) 


BT 


lim In[1 + zplim)] 


z In(1 + r) = plim) (3.6.28) 


由 (3.6.28), 可 得 


lim sup(1/n)[S, (51 ime) — Sn lite im € 0, we A" n D(0). 
n (3.6.29) 
由 于 P(A") = 1, H (3.6.29) 可 知 ， 当 ec=0 Ff (3.6.9) 也 成 立 ， 
4 0 < À < 1, 和 将 (3.4.23) 两 边 同 除 以 lni, 得 


liminf(1/m) {se Uc. imiw) InA — Sn—1{il,* ml o) t C De) 


[M 
> x: 9€40)nD(). (3.6.30) 
由 (3.4.30), 下 极限 的 性 质 


liminffan — bn) > d => liminf (an — c4) > lim imf(b,, — ex) + d 
n= neo t= DO 


和 不 等 式 1-1/zx < Inz < z—1(0 < z < 1), 并 注意 0 < (1/n}Sn-i li e sim- < 
1, 有 


lim inf(1/2)[$s (5 "t miu) ~ Sa-i (i TELE w)plim)] 


> lim inf (1 /n) Sa- (i1; sim-1i n {PETO e -plim)} + x 
À—1 . c 

2 (二 - 1) ptm) + 二 

>A-1+c+ I w € AYN D(c). (3.6.31) 


"4 O< c< 1 时 ， Bu AA) =A- T4 (< A< 1 在 A=1-Vc 处 达到 
它 在 (0,1) 上 的 最 大 值 h(1 — ve) = -2VE 在 (3.3.31) 4 = 1 — VE 则 有 


lim inf(1/n)[S (ii = Saas di: op 人 io 


»-—2Ve we A(- ve) n D(c). (3.6.32) 
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由 于 P(A(1 一 Yo)) = 1, 则 由 (3.6.32) 可 知 当 0 < e < 1 时 (3.6.10) 也 成 立 . 当 c=0 
B, + ` 

A, = ^) A(1 - 1/8), 


k=1 
Hi (3.6.30) 和 (3.6.28), 可 得 
lim inf(1/n) (5s (à imi w) — Saf, rim- w)plim)} > 0, 
w € A, n D(0). (3.6.33) 


由 于 P(A)= 1, H (3.6.33) 可 知 ， 当 c=0 时 (3.6.10) 也 成 立 . 
推论 3.6.1 在 定理 假设 的 条 件 下 ， 有 


Jim (Un) {Salir 1m) Sn-1(i1s sm)p(im)} = 0, as. FD(0). (3.6.34) 


证 由 于 P(A'nA.) = 1, Bi (3.6.33) 和 (3.6.29), 可 知 (3.6.34) 成 立 . 
推论 3.6.2. 在 定理 假设 的 条 件 下 ， 有 


im n (1/n)Sr ` imi) = ig ik) a.s. F D0(0). (3.6.35) 
证 由 定理 3.1.2 知 
Jim (1/n)S,(ü; w) —p(ü) as-TD(0) (3.6.36) 


在 (3.6.34) rh & m = 2, 则 由 (3.6.34), 有 
lim (1/2)5. (6, i21) = Jim (1/1)54 1 (5: w)p(i2) 
—p(i)p(igj) a.s. D(0). (3.6.37) 


由 归纳 法 可 知 (3.6.35) 成 立 . 
推论 3.6.3 W (X, n> 1} 取 值 于 {1,2},p(1) = p, p(2 =1—p, m > 1 
一 整数 ， 令 Sz(mw) 代表 Xii Xs FRAKE m 的 1- ERES B, DU 


Jim (1/n)S;(m,o) = a.s. F D(0). (3.6.38) 


— 1! _ 
p"(1— py 
证 4d m= ig = e = im = 1, 则 有 

Sim, w) = Sn (2, 41," lon, 2; u) +ó. i 2X1, X2, . ;Xm+1) 


62i, i (Xn mi nma tt Xn) (3.6.39) 
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由 (3.6.34) 与 (3.6.39), 可 得 到 (3.6.38). 

推论 3.6.4 {Xn n > 1) 取 值 于 {1,2}, p(l) = p, p(2) = 1 — p, m > 1g 
一 整数 ， 令 on(w) 代表 XX，… Xn 中 数字 改变 的 总 次 数 ， 则 

Jim (1/n)za (e) -2p(l—p) as.TD(0). (3.6.40) 
证 由 于 
on(w) = S,(1,2;u) + Sn{2, jw), 

则 由 (3.6.34), 可 得 (3.6.40). 

推论 3.6.5 W (X,, n > 1) 为 服从 (3.6.3) 的 独立 随机 变量 ， 则 


Jim (1/n){ Sn (5 一 Sn im-1;w)plim)}} =0 as, (3641) 


lim (1/n)S, (i ++ imi w) = [J rG) as., (3.6.42) 
k=1 

Jim (1/5)S2 (mui) = E as., (3.6.43) 

Jim (1/n)ea() —2p(l1—p) a.s.. (3.6.44) 


证 在 推论 的 假设 下 有 ra(w) = 1, 故 D= 0O. 因此 可 由 (3.6.34), (3.6.35) 
和 (3.6.36) 分 别 得 到 (3.6.41)—(3.6.44). 


83.7 极限 相对 对 数 似 然 比 与 一 类 强人 偏差 定理 
w S —81,82,-7* 为 可 列 实数 集 ， Xx, n> 1 是 定义 在 概率 空间 (@,Z, P) 上 
在 S 中 取 值 的 随机 变量 序列 ， 其 联合 分 布 与 边缘 分 布 分 别 为 
P(X1 = 21, Xn = Xa) = Pn(f1, 24), mk € 5, 1 < k < n; (3.7.1) 
P, (zk) = P(Xx = zk), mk S. (3.7.2) 
为 了 表征 (Xn > 1) 的 联合 分 布 ps(z1,… tn) IRMA Die- Pa (za) 之 间 的 
差异 ， 引 进 如 下 的 似 然 比 和 对 数 似 然 比 ; 
Zale) =p (X, ,X8)/ T PeX), (3.7.3) 
k=1 
ra(u) = In Z, (u), (3.7.4) 
并 令 
plv) = lim sup relw), (3.7.5) 
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RH w 是 样本 点 ，Xr(w) 简 记 为 Xe [l-i Peler) 称 为 参考 乘积 分 布 ，yplw) 称 为 
极限 相对 对 数 似 然 比 .在 以 上 各 节 中 作者 利用 这 个 概念 研究 了 离散 随机 变量 序列 
的 极限 性 质 ， 建 立 了 若干 强 偏 差 定理 ( 妈 一 类 用 不 等 式 表 示 的 强 极 限定 理 ). 本 节 
将 继续 这 方面 的 研究 .首先 推广 plw) 的 概念 ， 我 们 注意 到 ， pu) 的 定义 实际 上 
是 通过 将 rnw) 5 n EER, BHA n — co IE ru (o) 前 大 小 的 一 种 舍 计 ， 在 一 定 
WELF, raw) 的 大 小 与 (Xn > 1} 的 相依 程度 有 关 ， 考虑 到 各 种 可 能 情况 ， 
恒 将 {rn(w)) 与 一 阶 无 穷 大 数列 相 比 较 并 不 总 是 适当 的 (例如 可 能 出 现 r, (oo) = co 
a.s. 的 情况 ). 这 就 启发 我 们 在 极限 相对 对 数 似 然 比 的 定义 中 用 任意 递增 的 无 穷 大 
数列 o, (n > 1) ERE a. 由 于 raw) 是 一 随机 变量 ， 所 以 我 们 鳗 定 os = on(w) 也 
是 一 随机 变量 ， 这 样 就 更 具有 普遍 性 . 

定义 3.7.1 设 fcnfw),n > 1) 是 一 列 正 值 随机 变量 ， 满 足 条 件 on(w) T oo 
a.s., Ta (tu) H (3.7.4) gg X, 


(3.7.6) 


r(e) VA XT {ontw),n > 1) 的 极限 相对 对 数 似 然 比 . 于 是 由 (3.7.5) 定义 的 p(w) 
就 是 关于 n,n 之 1 的 极限 相对 对 数 似 然 比 ， 
显然 ， 当 X. n> 1 相互 独立 时 rlw) 三 0. (3.7.30) 表明 ， 在 一 般 情况 下 恒 
有 rlw) > 05s. 因此 rw) 可 以 看 作 是 当 % — oo BF X,,1 < k < n 的 联合 分 布 
Palit- Za) 53 BU HS g-i Pii) 之 同 的 偏差 (粗略 地 说 , 此 即 X1 < k < = 
与 独立 情况 的 差异 ) 的 一 种 随 宙 度量 。 r(w) 越 小 ， 偏 差 越 小 . 
本 文 的 目的 是 要 利用 rio) 的 概念 研究 相依 离散 随机 变量 序列 Xon > 1 的 极 
限 性 质 ， 给 出 一 类 用 不 等 式 表 示 的 强 偏 差 定理 . 
本 文 结果 有 一 点 是 值得 指出 的 , BB (3.7.10) 给 出 的 矩 条 件 是 随机 性 的 ， 这 与 强 
大 数 定律 中 的 通常 情况 不 局 (例如 Kolmogorov 强大 数 定 律 中 的 矩 条 件 为 常数 项 级 
# Y. n7? DOC) ikan. 
定理 3.7.1(X] X: 2000d) 设 X,,n > 1 是 县 有 分 布 (3.7.1). 的 随机 变量 序列 ， 
on(w),n 之 1 是 一 列 正 值 多 机 变量 ， 且 on(w) T oo as, rw) 由 (3.7.6) EX, 
aa n > 1 是 递增 的 正 数 列 . < 
D = {w : rf{w) < oo), (3.7.7) 
Y, = Xadi lXr| Zar P bg = E(Y&), (3.7.8) 
此 处 对 于 定义 在 只 上 的 任意 实 值 函数 了 及 实数 ,5, lacre 表示 集 {w:a< f < by 
RHEES. 设 {gnn > 1} 是 定义 在 (~oo,o0) 上 的 一 列 连续 正 值 偶 珀 数 ， 使 得 当 
|z] 增加 时 ， 
gn{2) f. ga(z)/z2 4. (3.7.9) 
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ipm 
E(gk(Xx)) 

lim sup te pee gla) TIUS as 

Dui 
lim inf > A - x 2a(y(w)c(w) as. F D 
nox nid ' 
lim sup Y Yr — bk < B(r(w),o(w)) as. FD 
noc zu k=l Gk T 7 

其 中 

alz, y) = sup(e(4,z,y), 4 < 0, 0 < z,y < oo, 

B(x, y) = inf(e(4, z,y), A > 05, 0€ z,z < oo, 

plà r, y} = s+ ae?y, Ü < z, < oo, À Z 0. 
而 且 有 

a(z,y) S0, 0€ z,y « oo, 
B(r,y)20, 0€ z,y < oo, 
a(0, y) = a(z,0 —0, 0 < r,y «oo, 
B(0, y) = f(z, 0) = 0, 0 < T. < oo, 
lim. a(z,y) = 0, 
lim, B(z,y) = 
证 对 每 个 n, + 
2j zi an 
fale) = | 0, |z| >an. 

则 有 


Y. = Jal X4). 
W À 是 任意 实数 ， 令 


QA = Ef ep [AN] — ^ nasya (02-1 
ZkES 


Pi(z&) exp{X [fr (zn) — br]/ar} 


Kass QA 


zy € S, 
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(3.7.10) 


(3.7.11) 


(3.7.12) 


(3.7.13) 
(3.7.14) 


(3.7.15) 


(3.7.16) 
(3.7.17) 
(3.7.18) 
(3.7.19) 
(3.7.20) 


(3.7.21) 


(3.7.22) 


(3.7.23) 


(3.7.24) 


(3.7.25) 
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qa (À, $T1,''* Tn) = II Pk (A, TX), (3.7.26) 


则 qa (Àm, Utt SER) n = 1,2,- m 是 S" 上 的 一 族 相 容 分 布 . 令 
pa( Xu mi Xn) 

gn(X1,- It (Xn) i 

HF (zn > 1} Æ a.s. BARIER Ek (参见 Chung 1974, p.354, 习题 2) 
故 存 在 A) € Z, P(A(O)) = 1, 使 得 


T,(Xu) = (3.7.27) 


lim inf 


noo Opl) 


易 知 In T. (0,u) = ra(w), # H (3.7.28), 有 


In T4(A,w) > 0, o € AQ). (3.7.28) 


-L 20, w € A(0). (3.7.29) 
HPN (3.7.29) 3838 
f(w) 20, u € A(0). (3.7.30) 
由 (3.7.27), (3.7.26), (3.7.4) 与 (3.7.23), 有 
hn T, Qo) = ralo) Y n Qi) -AY n- na (3.7.31) 
k=1 k=1 


由 (3.7.28) 5j (3.7.29), 有 


lim sup 


no0 MC ) 


D» Y. A ra(w)— Dao ) <0, wc AQ). (3732) 
k=1 


由 (3.7.32) 与 (3.7.6), 有 


Y, 1 <— 
lim sup 2 元 i2 Di EO g r(w) + lim sup o 2159.0), w € A(A). (3.7.33) 
由 不 等 式 
| 一 加 [s> (3.7.34) 
ük 
0<e*—1—-—z< je, (3.7.35) 
我 们 有 


0<@Q.&(ÀA)—- 1= Ef exp [XY 一 beJan] — I — A(Yk — bear )) 
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< sXe "^ lv, 一 ba.) |) 


i PAE (Yra) ]. 


由 (3.7.9) 中 的 第 二 个 假设 ， 


Eya < AE, | Sa 


ak? ^ gilan) 
由 此 有 (利用 (3.7.9) 中 的 第 一 个 假设 ) 


Ye? _ gk[Yz) |. gx( Xu) 
( 动 s gx (a) < (a) 


由 (3.7.36) 与 (3.7.37), 有 


exo]. 


0€«Q.()-1X je eng [s (a 


D* = le: immo 2 Ble aX a = gw) < oo), 


no Da (o gk (dk) 
则 由 (3.7.10), £j P(D*) = 1. H (3.7.38) 5 (3.7.39), 有 
0x limsup 7 52:4 A)- 1) 
Al Ji gx (Xx) 
< je 2|A limsup — JÈ? ash) D 
= Laaa o € D°. 


利用 不 等 式 0< ine <z- 1(z > 1), H (2740), 有 


0 < lim sup 


n—oo Ün 


由 (3.7.33) 及 (3.741), 有 


lim sup 


sup T > 


1 <— 1 
In QAE Ael, we D*. 
22 &(A) 7 (w) 


> A- 一 H < riw) + n v € D'nA(A). 
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(3.7.36) 


(3.7.37) 


(3.7.38) 


(3.7.39) 


(3.7.40) 


(3.7.41) 


(3.7.42) 


设 Q" AES BB A8, 4 A* (eg. AC), WJ P(A*) = 1, B H (3.742), 有 


limsup 


neo sa (a) Z K 9k 


Y Yk ~ bi < "(2 十 a ew weD*nA', Ae Q*. (3.743) 


- 156 . 强 偏差 定理 与 分 析 方 法 


因为 plz y) 关于 入 连续 ， 故 由 (3.7.14), (3.7.30), (3.7.22) 与 (3.7.39) 知 ， 对 每 个 
w E A*GnD*nA(0)n D, 存在 A (wv) e Q*(n = 1,2,..- ,), 使 得 


Jim e(A(w), r(u),o(u)) = B(r(w). a(u)). (3.7.44) 
由 (3.7.43) 与 (3.7.15), 有 


limsup —— Y^ EE « G0 (2), r(e),o(u) we An D'n An D. (8745) 


nO onl(w v) — Gk 


由 (3.7.44) 5 (3.7.45), 有 


. i T Y, — bk 
— < *AD'NA . T. 
lim sup 元 加 > z £ B(r(u),o(w), o € A náAnp (3.7.46) 


因为 P(A* n D* n A) = 1, 由 (3.7.46), 即 可 推出 (3.7.12). 
Wt Q. 是 负 有 理 数 的 集 ， 令 A, = [l q. AQ), Hj P(A)= 1, BH (3.7.42), 有 


Y Yr — by > r (e) + gae lou), w E A,DD', AEQ (3.747) 


仿照 (3.7.46) 的 证 明 ， 可 得 


lim inf zi ) Ys ZI o(r(s),c(w), w € A,nD'nAnD. (3748) 
因为 P(A*nD*n A) = 1, audi (3.7.48), 即 可 推出 (3.7.11). 

根据 o(z,y) 5 ple, y) 的 定义 , (3.7.16)—(3.7.19) 是 显然 的 ，(3.7.20) 与 (3.7.21) 
可 由 (3.7.51) 与 (3.7.52) 得 出 ， 定 理 证 毕 . 

注 3.7.14 以 上 的 定理 实际 上 是 从 两 方面 放宽 钟 开 革 强 大 数 定律 (8L 
Chung 1974, p.124) 的 条 件 ， 一 是 通过 引进 r(w) 考虑 随机 变量 序列 相依 的 情况 ， 
二 是 放宽 矩 条 件 ， 钟 开 莱 给 出 的 条 件 是 


y` El[gs (X2)]/95 (an) 收 敛 ， 


本 文 的 条 件 (3.7.10) 则 考虑 了 Er- [gn(Xa)]/gn(an) = Olon) 的 情况 ， 
A: 1 x«-YX-h, _ 
下 面 的 推论 通过 将 (m y) 与 8(z ze > m= 
2,… ,) 的 上 下 极限 的 一 种 具体 的 估计 . 
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推论 3.7.1 在 定理 3.7.1 的 条 件 下 有 
Y Ys — b zo-Xrw) Ë + lg (equ) as. T D (3.7.49) 
on(w) ak ~ 2 ` ; UU 


kai 


: 一 Y, — bk 1 2. Tw) 
lim sup esu) > 去 < Vr(w) | 十 >° olw) a.s. 于 D. (3.7.50) 


证 + À) =-ge,H alz y) 的 定义 ,有 
a(z, > e(-Vz,z,y) = —Vz — 5 Viet y z > 0. (3.7.51) 
EH (3.7.51) 与 (3.7.11), 即 得 (3.7.49). 4 À = Vz, 由 8(z,y) 的 定义 ， 有 
B(z.u) < plss, y) = Vz + 5 Ey, z > 0. (3.7.52) 


H (3.7.52) 与 (3.7.12), 即 得 (3.7.50). 
引 理 3.7.3 ik (an > 1) 5 (os, n 2 1) 是 递增 的 正 数列 ， (n2 1) Æ 
实数 序列 ， 如 果 {amn > 11 与 (s.n 之 让 中 有 一 个 是 无 界 的 ， 县 


此 处 a < 0,b 2 0, 则 


lim sup 
now nfn 


xe &b-—a, imat NOE € a-— b. 


证 明 从 咯 ， 
推论 3.7.2 ”在 定理 1 的 条 件 下 有 


lim sup 
noo nfn Ao 


; 2. Y, — bz) < Vr(o)[2 + ev ow) as. FD, (3.7.53) 
k=1 


liminf ———— (3i > Y, — bx) > —/r(w)[2 + e2V rl) (i) ] as. F D. (8.7.54) 


n> Q4 


证 利用 引 理 由 (3.7.49) 与 (3.7.50), 即 得 (3.7.53) 与 (3.7.54). 
推论 3.7.3 如 果 c(u) = 0 a.s. BË r(w) = 0 a.s, 则 在 定理 3.7.1 的 条 件 下 有 


LY nh =0 as. + D, (3.7.55) 
k 


lim 
no on(w) k=1 
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, 1 Š _ 
dim assu) DY — bk) =0 as.T D. (3.7.56) 


证 由 于 Q(z,0) = f(z,0) = 0, #4 o(w) = 0 a.s. Ej, HH (3.7.11) 与 (3.7.12) 
即 得 (3.7.55). 由 于 o (0,13) = 8(0,u) = 0, 故 当 r(o) = 0 a.s. 时 ， 亦 可 由 (3.7.11) 与 
(3.7.12) 得 出 (3.7.55). 由 引 理 知 由 (3.7.55) 可 得 (3.7.56). 

定理 3.7.2 ( 刘 文 20004) 设 随机 变量 序列 {Xun > 1} 满足 定理 3.7.1 的 条 
件 ， 其 中 (3.7.9) 用 如 下 的 条 件 代替 ， 当 |z| 增加 时 ， 


En 4, ec 1. (3.7.57) 
如 果 对 每 个 k, E(Xk) = 0, B 
Y 3  P,(zx) < oo (3.7.58) 
k=1 {zr|>ag 
wij 
. . 1 AX 
liminf 2. > P za(r(w),o(w)) — a(w) as. T D, (3.7.59) 
lim sup > 7 ) y = < f(r(w),o(w)) + o(w) as. T D, (3.7.60) 
n+*o0 Onw | 


liminf = Y Xy > a(r(v),o(w)) — B(r(u),o(2)) -2e(w) a.s. + D, (8.7.61) 


lim sup 二 (v) Y X, < B(r(o),o(w)) —a(r(w), alw) +2o(w) a.s. + D, (3.7.62) 


其 中 alz y), B(z, y) 如 定理 3.7.1 中 所 定义 ， 
证 首先 我 们 注意 C) 上 RQA o (z) 个 因此 在 定理 3.7.2 的 条 件 下 1(3.7.11) 


le] 
Ħ (3.7.12) 均 成 立 ， 而 且 由 (3.7.58) 可 知 {Xn n 2 1) 与 (Y, > 1) ARMM 
量 序列 .于 是 由 onlw)—> co a.s. 及 加 十 可 得 


fi 


1 Y Xe- YQ as.. (3.7.63) 
k 


lim 
n> On (w) kot G 


因为 当 |z| 增加 时 LE t, T: 


lei 


lel 9x2) 


mp6. 3.1.64 
ak T gela) | |> a ( ) 
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记 X, Hr BOR. Fe, 注意 到 E(X;) = 0, 我 们 有 


bl _ 1 z)- l z z 
dk i Qk L.. edF. ) i ük Í... dP ! 
(x). Ikl Xk) 
< J... 区 PIRE nEs eX (3.7.65) 
由 (3.7.65) 与 (3.7.10), 有 
limsup jx LU < ofw) as.. (3.7.66) 


n—o0 Ün m k—1 Gk 


注意 到 
Xk — (Yp — bx) + (Xx — Yz) + bk 


ük Gk 
£i (3.7.11), (3.7.63) 与 (3.7.66) 可 得 (3.7.59), 由 (3.7.12), (3.7.63) 5 (3.7.66) 可 得 
(3.7.60). RIF S| EE, (3.7.61) 与 (3.7.62) 可 直接 由 (3.7.59) 与 (3.7.60) 得 到 . 定理 
3.7.2 证 毕 . 
推论 3.7.4 设 {Xn,n 21) 是 具有 分 布 (3.7,1) 的 随机 变量 序列 ， 且 E(X,) = 
0 (n = L2,---). pi (es. n 之 1) 与 {ann > 1} 是 递增 的 正 数 列 ， 且 On T oc. XX 
r(u) 与 D 分 别 由 (3.7.6) 与 (3.7.7) 定义 (其 中 os (o) = 04), (gan 2 1) 是 定义 在 
(—co,co) 上 的 一 列 连续 正 值 偶 函 数 ， 且 满足 条 件 (3.7.57). 如 果 


(3.7.67) 


Elek) _ oo, (3.7.68) 
Peel Ogk (Gk) 
Br 
1 — ko 
Jm — > uas TD, (3.7.69) 
im ni^ —0 as. T D. (3.7.70) 


证 明 从 略 . 


第 四 章 关于 马尔 可 夫 型 分 布 的 强 偏差 定理 


本 章 中 我 们 通过 引进 关于 马尔 可 夫 型 分 布 的 相对 炳 密度 偏差 (或 对 数 似 然 比 ) 
作为 随机 变量 序列 相对 于 马尔 可 夫 链 的 差异 的 一 种 度量 ,建立 了 一 种 新 型 定 
理 一 一 强 仿 差 定理 (也 称 小 偏差 定理 ), 将 概率 论 中 的 强 极 限定 理 推广 到 用 不 等 
式 表 示 的 情形 . 


84.1 任意 信 源 二 元 函数 的 一 类 强 偏差 定理 


本 节 引 进 了 任意 信 源 相对 于 蕊 氏 信 源 的 相对 炳 密度 偏差 的 概念 ， 并 利用 这 个 
概念 研究 任意 m 进 信 源 二 元 函数 一 类 平均 值 的 极限 性 质 ， 作 为 主要 结果 的 推论 ， 
得 到 了 马 氏 信和 源 的 Shannon-McMillan 的 一 个 推广 . 

Wt Gn > 0} 是 字母 集 为 5 = {1,2,… ,m) 的 任意 信 源 ， 其 联合 分 布 为 


P(X, = 20, ,Kn = En) 一 pafzo za) » 0, rEg, 0<i<n,n=1,2.... 
(4.1.1) 
A 


fio) = qne. Xn) (4.1.2) 


表示 (X.,0 € k < n) 的 相对 精密 度 ， 如 果 (X. n 20) 是 马 氏 信 源 ， 其 初始 分 布 
与 转移 矩阵 分 别 为 


(a(1), 0 (2), Ut , q(m)), qli) > 0, ies (4.1.3) 

与 
(p(š,j)), p(5j)20, +j € S, (4.1.4) 

则 
p(xo) = a(zo). (4.1.5) 
Pizo, fa) = (zo) | [ »(z«-1,24)- (4.1.6) 

k—i 
此 时 有 

ho) = [ne + DInp(Xe XA] nl an 


k=1 
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关于 相对 精密 度 的 研究 是 信息 论 中 的 一 个 重要 问题 . 作者 曾 引进 任意 信 涛 相 
对 于 非 平稳 无 记忆 信和 源 相对 炳 密度 偏差 的 概念 ， 并 利用 这 个 概念 给 出 了 任意 信 源 
一 类 极限 定 埋 的 信息 条 件 (参见 刘 文 1990a). 本 文 的 目的 是 要 引进 任意 信 源 相对 于 
马 氏 信 源 相对 饼 密 度 偏差 的 概念 ， 它 是 任意 信 源 相对 于 平稳 无 记忆 信 源 相对 业 密 
度 偏差 概念 的 推广 ， 并 利用 这 个 概念 研究 任意 信 源 二 元 冰 数 一 类 强 偏差 定理 ， 作 
为 推论 ， 得 到 了 蕊 氏 信 和 源 的 Shannon-McMillan 定理 的 一 个 推广 ， 

定义 41.1 设 (X, n >D 是 具有 分 布 (4.11) 的 任意 信 源 ， 称 
1 


n+l 


Inq(Xo) + 》 inp(Xx 1, Xa) 一 
k=1 
为 {Xi,0 <i < n) 相对 于 以 (41.3) 为 初始 分 布 ， (4.1.4) AAHS Ede Bs 
ËJ EDI HE EAE. 
定理 4.1.1( 刘 文 、 杨 卫 网 19952) 设 {Xn,n > 0) 是 具有 分 布 (4.1.1) 的 任意 
信 源 ， f(z,y) 是 定义 在 5 x S 上 的 任意 二 元 着 数 ， paliw) 由 (4.18) REX, e 
为 非 负 常数 ， 今 


inpa(Xo,--- ,Kn). (4.1.8) 


1 
u(w) m n+ 1 


Dí(c) = {w : liminf pn(w) > —c], (4.1.9) 


LU 


"u 


lim sup 1/n Y [fossa 一 M fastu] 


k=1 j=1 


€ (ct 2/0) > Y HD as. F Dle), (4.1.10) 


i-i j=} 


lim inf i »» | -M resis) 
k=1 


j=1 


> —(e+2/e) M7 V Fi) as F Dle). (4.1.11) 
i=1 j=l 
证 取 O = (0,1), 其 中 的 Lebesgue 可 测 集 的 全 体 Z 和 Lebesgue 测度 P 
为 所 考虑 的 概率 空间 . 与 83.1 的 构造 完全 类 似 ， 在 (0,1) 中 可 以 构造 各 阶 区 间 
{Dawn Ti € S,0 < í < n,n 0), J-25 HM RAE 416 (4.11) 的 m 进 信 源 {Xn n > 
0) 在 上 述 摄 宰 空间 的 一 种 实现 . 
设 6 U) dé S ER Kronecker ó A iE (4.1.10) 和 (4.1.11) 两 式 成 立 ， 我 
们 先 证 以 下 两 式 成 立 : 


1 |< - .. 
lim sup — X di(Xr-1)8; (Xx) 一 Y &Q-p( 3) c4 2Vc as. T D(c), 

nore k=1 k=1 
(4.1.12) 
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liminf Ž B ;(X& 1)5,(X4) 一 seco > —(e-c2Ve) a.s. 于 D(e). 
k=1 k=l 
(4.1.13) 


设 各 阶 区 间 及 [0,1) 所 组 成 的 类 为 A, 在 A 上 定义 集 函 数 上 4 如下! 设 Duos, 
Jon 阶 区 闻 (n > 1), > 0 为 常数 ，i,ijE S. # 


a du »" n 1 dila) n 
B(Das us) = Aimi fr a) I [ee aleo) [L pn- 22. 
(4.1.14) 
又 令 
B(Dz,) = 》 u Dani); (4.1.15) 
21-1 
u([0,1)) = $^ ntDs,). (4.1.16) 
za=1 


由 (4.1.14) XXX, 3 n > 2 时 有 


J 


YY u(Dass) 


rn=1 


) > f(£5—1. Zn) jA“ (en- 1)6; (zx) 
een ,+ (A 7 Dp De) 


p(zy 1, PAS s(zn-1) 2224 i P[zn- 1524) 
[LE Dp Dc 


Bp( Du, i) 


分 别 考 虑 rni = i 和 zn 关 i 两 种 情况 ， 由 上 式 即 得 


> p(D.,...=.,) = 站 [Doom i)- (4.1.17) 


Tal 


Hi (4.1.18)—(4.1.17) BI, u Æ 4 E fü ED S. pc RUE TEE X 6 [0,1) 上 的 
bI ES fi . 使 得 对 任何 Dni 有 


全 下 =) = JA Dhan) 7 AU su (4.1.18) 
其 中 DZ... 与 Dio, 分 别 表示 Dao HE, BWA. A 


(D...) S au) - AS S) 


tO) = pp en) Di Q Dan. 


QU € Da (4.1.19) 
WE J, 的 可 微 点 的 全 体 为 AG), WI PCAGQ0)) = 1. DIRR (2.245) 的 推导 ， 有 


Jim t.) = TER, w € A50). (4.1.20) 
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因此 有 
Intn(à w) < 0, w € Aii(A). (4.1.21) 


lim 
aoo n + "í 
由 (4.1.19), (4.1.14) 与 (4.1.8) 式 知 o € [0, 1) 时 


1 
+I In#,,(À,) = +1 [In z(Dx,...x,) — Inpa(Xo,--- , X,,)] 


| { 3 603-0500) InA— 37 6;(X,-1)In(14- (À ~ Hp 人 及》 + esu). 
k-i k=1 


(4.1.22) 
H (4.1.21) 与 (4.1.22), 有 
lim sup Ë -= Y OG 06) na- y, (X414) In(14 (A —1) Piele) 
noo kol 
<0, wE Aij (1). (4.1.23) 


由 (4.1.23) 5 (4.1.9), 有 (参见 下 述 (4.1.26) 51) 


Y 5 &(Xx-1)5;(Xx)InA — Y 408 1) In(1 + (À -De 
k—1 k=l 


lim sup 元 i 
Se, w€Ag(X)nD(c). (4.1.24) 
取 入 >1, 将 (4.124) 式 两 边 同 除 以 ln 入, 18 o € A;; (M) n D(e) 时 
limsup 元 Tp: (X;k-i)6; (Xk) ~ Yu Xr- pü +O = Den) < SC 
(4.1.25) 
利用 上 极 超 性 质 


lim sup{an — bn} < d == limsup(a, — cn) < limsup(b, — c4) + d, (4.1.26) 
To n— oo r— G 


由 (4.1.25) 式 及 不 等 式 


1-İ<me<z-1, z>0, (4.1.27) 
T 


limsup = Y» (X&—1)6; XX) - Mac) op 


nuc 


oi Sp BOO DWED uo 
< lim sup » 2» 5X1) ln si) tA 
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c 


< limsup — PA D) (s — -1)+ SA 

<》X-1+e+T w € A;; (À) n D(e). (4.1.28) 
当 e>0 时 ， 易 知 函 数 f = X—-1+ce+ce/(À—- 1) (À > 1) EA 1+ c 处 取 到 最 
4M f(14- /c) = e 2 /c. 在 (4.1.28) ARR A = 1+ e, f$ o € AG Ve) D(e) 
时 


limsup + Di (Xy 4)65(X&X) — a (Xk-1)pli, J < c4 2c. (4.1.29) 
fL.— o0 k=1 
由 于 POzsSQ + ve) = 1, 故 由 (4.1.29) 5, 24 e> 0 时 (4.1.13) 式 成 立 ， 

仿照 (3.1.19) KHE, 4 c= 0 时 (4.1.12) 亦 成 立 . 

类 似 地 利用 当 入 < 工时 的 (4.1.24) 可 证 (4.1.13) FRS. H (4.1.13) 与 (4.1.14) 
易 知 ， 对 任何 fG,j) K as. w € D(c), 有 


limsup = EM UG 37,3) lš; (X) — 906,3) 2 71/3) e 26). (4-131) 


又 有 H 
fOG a X) 7 > fs pii) 


71 Th 


- Y EO 0500) i) - Y ros. n J)p(Xi-i.j) 


i=] j=1 
=F  &0 f EX) — pü, p). (4.1.32) 
i-i j=1 
根据 上 、 下 极限 性 质 及 (4.32), (4.1.10) 与 (4.1.11) 分 别 可 由 (4.1.30) 5j (4.L31) 
fut. 
在 onlo) 的 定义 (4.1.8) 中 如 果 转 移 矩 阵 (4.1.4) 满足 


p(i.j)—«() :j€5, 


则 我 们 就 得 到 任意 信 源 相对 于 具有 分 布 {gq(1),g(2),… am) 的 无 记忆 信和 源 的 相 
EE poi EE 


Va(w) = TALB- 一 " In p (Xo, --- , X4). (4.1.33) 
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这 就 是 (4.1.8) 式 定义 的 pn(w) 的 特例 .关于 wn(w) 由 定理 4.1.1 可 得 下 述 推论 . 
推论 4.1.1 {Xn n > 0} 是 具有 分 布 (4.1.1) 的 任意 信 源 ，,(w) 由 (4.1.33) 
EX, f(z,y) 是 定义 在 Sx S 上 的 任意 函数 ，c 二 0. 4 


G(c) = fw: lim inf Va(w) > —c), (4.1.34) 


Aj V a.s. w € G(c) 


limsup - 7 Ka - 3 MfG) als (c 3/9 92 Y t i, j}, 
no kai 


j=l 1 一 1 j=1 
(4.1.35) 
liminf 57 [ossa - Zes baa] > -etA 9 S UG 
k—=1 j—-1 i=l j=1 
I (4.1.36) 


利用 推论 4.1.1, 可 得 与 53.1 定理 类 似 的 结论 ， 
推论 4.1.2 设 (Gn > 0) 是 具有 分 布 (4.1.1) 的 任意 信 源 ，G(e) 由 (4.1.34) 
XX. S.) 表示 序列 Xo(w),… ,天 a_1(w) 中 出 现 的 次 数 ， 则 


iimaup[ Saliw) — g(i)] < m(c + 2/e) as. F G(e), (4.1.37) 
iminf [2 S, liw) — q(ü)] > —m(e + 2v7) a.s. E G(o). (4.1.88) 


证 在 推论 4.1.1 中 令 f(z,y) = ôi) , 注意 到 


i X | 一 Sroa 
k=1 


= iY Ep - Saano 


Salie) + fil Xn) — il Xo) — ali). 


Y X IGj) = 5 Y 8G) - m, 
i=1 j=1 i=1 j=1 
分 别 由 (4.1.35) 与 (4.1.36), 可 得 (4.1.37) 5j (4.1.38) 式 . 
推论 4.1.3 设 [X4,n > 0} 是 具有 分 布 (4.1.1) 的 任意 信 源 ，G(e) H (4.1.34) 
REN, falo) 是 由 (4.1.2) 定义 的 相对 炳 密度 序列 ， 五 (9(1),… ,q(m)) 表示 分 布 
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H(q().:-: ,q(m)) = — > ali) Ingli). (4.1.39) 
t=1 


W| V a.s. w € G(c) 
limsup[fn(w)— H(a(1).-- HM) € m(e+2/e) V^ Imai as. F Gle), (4.1.40) 


i-l 


"n 


lim inf[fs (o) — H(q(1). a) 2 -m(e +VOF ^na] -e. as 于 Cle). 
5 (4.1.41) 


证 在 推论 4.1.1 P Fiy) = —Inq(g), 则 有 


Ka -5 sao) 


j=1 


3=1 


(—Inq(X,) — H(a(1),a(2),: -- , q(m)) 


> 
k=1 
X | (7Inq(Xx) - 9 (- eno 
k=1 
> 


Y Yi ij) =$). Imal) em Insti 


i-—1j-tI í=1 j=1 


分 别 由 (4.1.35) 与 (4.1.36), 得 V a.s. w € Gic) 


E Yo(7Ina(X4) - HCa(l),..- ae] < (e 2/e)m V^ [In qG)], 


limsup 


n—eo06 "aspi 1 
(4.1.42) 
如 {2 Y na(X4) — H(q(1),: am] > 一 (ce 十 2/e)m 》 [Inq(;)]. 
k=1 j=1 
(4143) 


在 (4.123) 式 中 令 和 A 二 1 ,注意 到 P(AG(1)) = 1, 8 


limsup pn(w) < 0 a.s.. (4.1.44) 
n— 


将 pnl) 换 成 加 他) 仍然 有 


lim sup pn{w) € 0 a.s.. (4.1.45) 
n-c ooo 


第 四 章 ”关于 马尔 可 去 型 分 布 的 强 偏差 定理 - 167 - 


由 (4.1.2), (4.1.33), (4.1.42) 与 (4.1.45), 有 


lim sup{ fa(w) — H(a(1),: - ,q(m))) 
small xC Ina(x,) — H(a{1) ` ` em] + im sup bn(w) 


€ (c+ 2vBmy lina as. T Gle). (4.1.46) 
由 (4.1.2), (4.1.33), (4.1.34) 5 (4.1.43), 有 


> liminf E > IC Ina( X) — H(q(1),--- se] + lim inf s (u) 


k=1 
> —(e+2/c)m 5 |Inq(j)| - c as 于 G(e). (4.1.47) 
j=l 
所 以 推论 4.1.3 成 立 . 


以 上 的 推论 我 们 将 Shannon-McMillan 定理 推广 到 强 偏差 定理 的 情况 . 

定理 4.1.2{ 刘 文 、 杨 卫 国 1995a) 设 {Xan > 0) 是 具有 分 布 {4.1.1) 的 任 
意 信 源 ， Dic) 由 (4.1.9) 式 定 义 ， Saliu) 如 前 所 定义 ， Sn(i,7,w) 是 序 偶 序列 
(Xo, X1), (X1. X2), (Xa, X.) PER (2,3) HL DOR, falo) 是 由 (4.1.2) E 


PASE T P ME 
1) im 二 ls, (iw) = p; as. 于 DO); (4.1.48) 
2) im S = p(ij) as. 于 D(0); (4.1.49) 
3) Jim falu) = — 5 Y ppt) mpl) as. 于 D(0). (41.50) 
i-i ;=1 


其 中 (pi ,pm) 是 转移 矩阵 (41.4) 所 确定 的 平稳 分 布 . 
证 1) 由 {4.1.10) 与 (41411), 有 


lim 一 > 天 Xy Xk) 一 - Y Y HX- r. j)p([X;-.,3)]| 20 as. T DO). 
k-1 k-1j-1 
(4.1.51) 
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在 (4.1.51) 中 令 f(z,y) = 6) ,并 注意 到 


m 


EEO) - S 0 1,1) )= Y 506-90. 2) 


3=1 k=1 k=1 k=l 1 二 1 
= 2 506-0060 (4.1.52) 
j—1kz-1 
和 " 
Saliw) = 3 ó 0i), (4.1.53) 
k-i 
有 
lim 一 iZ i (X4) 一 Y Y 3;( (Xx 1 wa 
e> "n = jl k=1 
二 lim 二 ee )- Y Go ái z —0 as. T D(0,721,2,.,m. 
j=1 


(4.1.54) 
分 别 将 (4.1.54) 式 中 第 i 个 式 子 乘 以 plik) 然后 对 宇 相 加 ， 并 再 次 利用 (4.1.54) 
X, 得 


= lim — (ee Sa (i, w)pli, k) - Ss (k, ens 由 -> S,,(j,u) 2 9G. i)p(i, 3 
= lim n = | ník, w} — Ys (4, u)p(g, | =0 as. T D(0), (4.1.55) 


其 中 p(j, k) ( 1 AER) 表示 相应 于 转移 矩阵 P 的 三 步 转移 概率 . 用 归纳 法 可 
证 对 任何 正 整数 5 有 


lim 二 st =0 as. 于 D(0). (4.1.56) 


由 于 p(j, k)® — py (1 — oo). 故 由 (4.1.56), 即 得 (4.1.48) 式 成 立 ; 


lim LS (eu) = pr as. 于 DO). (4.1.57) 
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2) 由 (4.1.12) 5j (4.1.13), 并 注意 到 


Y^ 400500) = Salihu), (4.1.58) 
k=1 
有 
Jim js nli jw) — Sa- i z -0 as 于 D(0). (4.1.59) 


由 (4.1.59) 与 (4.1.57), 并 注意 到 (4.1.53), 得 (4.1.49) 式 成 立 : 


lim Sali, jw) 


JE Su) TPED ae T DO» (4.1.60) 


3) 由 (4.1.57)—(4.1.59), 并 注意 到 (4.1.53), 有 


im 元 mis (Xx-1) — pip(i, 中 =0 as. T D(0) (4.1.61) 
由 (4.1.61), 有 
Im 一 XL Xx 1, Xk) = dim - Y ` ó,( ( 19j (Xx) In p(s jj) 


k=1 i=1 ;=1 


= YY mn (a 3)l Jm 一 30 (GG 1); (Xk) 


= J 2 pip( j) inp(i,j) as T D(0. (41.62) 


H (4.1.44) 及 DO 的 定义 ， 有 
lim Paw} = Ü as. + D(0). (4.1.83) 
由 (4.1.62), (4.1.63) 及 (4.1.8), 有 (4.1.50) 成 立 : 
dim fr(w) = -F F po. j)Inp(ëj) as. T D(0. 
t=1 j=l 


RR, (4.1.50) 式 是 关于 马 氏 信 源 的 Shannon-MeMillan 定理 的 推广 . 事实 上 ， 
如 果 (X,,n 20) 是 以 (41.3) 为 初始 分 布 ， (4.1.4) 为 转移 矩阵 的 马 氏 信 源 ， 珊 
Palw) = 0 , fk D(0) = [0, 1), 因而 (4.1.50) 式 中 的 极限 式 在 (0,1) H ILF BERE RT. 
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84.2. N 值 随机 变量 序列 的 马尔 可 夫 膛 近 


W {Xn,n > 0) 是 定义 在 概率 空间 (9Q,F ,P) 上 取 值 于 S= {1,2,… N) 中 的 
随机 变量 序列 ， Q 为 下 的 另 一 概率 测度 ， {Xn,n 20) 是 Q 测度 下 的 马尔 可 夫 
H. 设 h(P|Q) 是 关于 {Xn} 的 了 相对 于 介 的 样本 偏差 率 , 本 节 用 有 (PIQ) 讨论 了 概 
率 测度 P TOMIE {Xn n > 0} 的 马尔 可 夫 允 近 ， 并 且 得 到 关于 (X0 > 0) 
的 二 元 函数 的 一 类 强 候 差 收 狂 定理 ， 在 证 明 过 程 中 ， 使 用 了 研究 as. 收敛 的 分 析 
Bx ES GERE. 


$42.1 Bl 


hil 


设 (QFP) 为 概率 空间 ， {Xn,n > 0) 是 在 S = (,2.--,N) 中 的 随机 变量 
序列 ， 其 联合 分 布 为 


P(Xo = fp Xs 一 Tn} = pz. sanh ti € 5,0 < ¿ < m. (4.2.1) 
设 
fal) = -(1/n) In p( Xo, - Ut Xn) (4.2.2) 


其 中 w 是 样本 点 ， Xi 表示 X (u), fao) 为 (X0 < i sn) Brem. 3x QUA 
三 上 的 另 一 概率 测度 ， 并 令 


Q(Xo = 29,:-- , Xn = En) = q(29,:-: ma), m;¿€ S,0 < š < n. (4.2.3) 


WE Q 是 {Xs,n > 0) 的 马尔 可 夫 测 度 ， 则 存在 S 上 的 分 布 


(a(1).a(2). - - QUN) (4.2.4) 
和 一 列 随机 和 矩阵 
(pa(ij)). 43€ S,n > 1, (4.2.5) 
使 得 . 
qo, ttta Zu) = gizo) II Ppk(Zk-1, i). (4.2.6) 
k=1 
此 时 有 


—(1/n)In q(Xo,-*- , X4) = —(1/n) |Ing(.Xo) + Sp OG a xo) . (4.2.7) 


天 一 上 
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为 叙述 简单 起 见 ， 我 们 假设 p(zo, te £5), g(2o,* tt Za), q(£) 和 pa (š, 3) BI. 
EN 4.2.1 dE p #l q fn (4.2.1) A (4.2.3) Bm, + 
h(P|Q) = lim sup(1/n) In[p( Xo, --- ,X5)/a(Xo,--- ,X4)]. (4.2.8) 


h(P|Q) 称 为 P 相对 于 Q 的 样本 散 度 . 
如 果 名 是 相关 于 {Xun > 0} 的 马尔 可 夫 测 度 ， 即 (4.2.6) 成 立 ， 则 


IQ) = neues) o Xen) T mn XO . (42.39) 
noo ku 


实际 上 A(PIQ) 是 {Xi,0 <; < n) FiR3 N EE Q S P FHARR MAKLER 

限 . 

在 此 节 中 我 们 利用 KPQ 的 概念 , 建立 了 任意 N 值 随机 变量 序列 的 二 元 函数 

的 平均 的 强 偏 差 定理 ( 即 由 不 等 式 束 示 的 强 极限 定理 ), 并 且 把 Shannon-McMillan 
定理 推广 到 非 齐 次 马 氏 信 詹 上 . 


§4.2.2 主要 结论 


为 方便 起 见 ， 首 先 给 出 似 然 比 的 一 个 极 根 性 质 作为 引 理 . 
引 理 4.2.1 Wb p fl q fn (4.2.1) 5 (42.3) 所 示 ， 则 有 


lim sup(1/n)ln(g(Xo, --- , Xa)/p(Xo,--- X.) € 0 P-a.s. (4.2.10) 


证 T5 ELA EG Za =g Xp ,n/p Ko, Xn) BR dE fh L $h. 且 见 乎 处 处 
(f P) 收敛 到 有 限 极限 ， 由 此 知 (4.2.10) 成 立 ， 由 (4.2.10) 可 推出 


h(P|Q) » 0 P-as. (4.2.11) 


定理 4.2.1(X] £X. AEA 2000) 设 (X,,n > 0) 是 定义 在 可 测 空间 (Q, Z) 
BEF S = {1,2,… ,和 N} HERLEEF, P $0 为 下 上 的 两 个 概率 测度 ， 
{Xn,n > 0} 关于 Q 是 马尔 可 夫 的 ， 即 {4.2.6) R.  h(P|Q) H (42.9) 定义 ， 
{hiny > 1} 是 定义 在 S? Wm), c> 0 为 常数 . i 


Dic) = {w : h(P|Q) < c). (4.2.12) 


设 存在 o > 0, 使 得 对 Wi e S, 


ba (i) = limsup(1/n) V^ Eolexp{olfr (Xu-1, XX, I — i € 7, — (42.13) 
Ti— mQ k=1 
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此 处 Eq 表示 相对 于 Quim $ 
H, = 2r/e2(t — œ}, (4.2.14) 


JERF 0 <t < a. 4 0 < c < ËH, fj, # 
limsup(1/n) | >》 {fr (Xi-1, Xx) — Eg[fk(Xn1, X.)|X;-i])| < 2/eR,, 
oo koi 
P-a.a. D(e). (4.2.15) 
特别 ， 
im (1/n) Y Us Xa, Xa) — Eq[f (Xia Xr)lXr-1]} = 0, 
k=1 
P-a.s.+- D(0). (4.2.16) 
注 4.3.1 RRR P =Q, 则 h(P|Q) = 0, X (4.211) 中 已 证 对 一 般 情况 有 
A(P|Q) 20 P-a.s. 因此 h(PIQ) 可 用 来 测量 {Xn,n > 0} # P E Q T 4825. 
h(P|Q) R, WERD. 
证 设 
D.,,...=, = {W : Xk = zx, zk € S, 0 < k < m). 
Dau, TE n 阶 柱 集 ， 由 (4.2.1), 有 
P(Das..,,) = P(Xo = zo, ,Rn = za) = p(2o,^-- , 74). 
令 4 为 9 和 所 有 的 柱 集 组 成 的 类 ， 和 为 常数 ， 定 义 A 上 的 集 函 数 u 如 下 ; 


exp{Afr {zp 1, TR) } pr (zu, Zk) 


n(D. ...x,) = [I Eglexp(Afa (Xen XXe = wi nzl, (42.7) 
BL) = $^ u( Dass; ). (4.2.18) 
AN) = Y (Da), (4.2.19) 


此 处 o 为 对 所 有 zn RA. 注意 到 


Eolexp{Afn Xn- Xn) hl Xn- = £n-1] 
= Yexp{Af (wn_1, Tn)}pn(2n_1, Tn), n22, 


Tn 
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可 得 
> BD.) 


- » Il — expOMi Gne i Tt) poltra) —_ 
1 EalexpU My Xr X8) Xk- = 28i] 


— exp{Àfal Z5-1; Za))Pu(*n-1 ; Za) 
—pA (D, i) > Eolexp D f, UG ai, X,)HX - 1 二 2,1] 


一 UD zasna) (4.2.20) 


Hj (4.2.18)—(4.2.20), 知 py 是 和 A 上 的 测度 ， 因 为 A 是 半 代 数 ， i u 地 拓 广 
到 o 代数 o( A) E. X 


gito, t ,Wn) = p(Xo = fot ,Xn = Enh 
talà w) = 9(X0;: It »Xn)/p( Xo, It Xa). 
由 引 理 4.2.1, 存在 A) € olA), PLO = 1, 有 


limsup(1/n)Int4 (4,0) < 0, wE AÇA). (4.2.21) 


由 (4.2.17), 可 得 
(1/n)lIn t, (4, w) 


= A(1/n) Ý (X. Xa) — (1/n) Y.) In Eglexp (Afia OG, Xe) X81] 


k-1 k=1 


-(17n)inip( Xo, -- - , X«)/a( Xo) I[».9, 2x. (4.2.22) 
k=1 


HI (4.2.21) 和 (4.2.22), 得 
lim sup Dam hos do (1/2) Y: in Bolexp{Xfe (Xi 1, Xe) HAr- J 
Tu— > k=1 


= k=l 
< M(P|Q), w € AQ). 


We A 


limsupA (1/n) Y Us 1, Xx) — Eglfa(Xx-i, Xr) Xe-1]} 
kzi 


< üm sup(1/n) $` {In Egfexp (Mf GG XI) Xi) 
k=1 
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— Ea[Afp( Xp-1, Xx) XE + h(P|Q), w € AQ). — (4.2.23) 
由 不 等 式 Inz < z — 1(z > 0) fll e° — 1— z < (z?/2)el*l, 3E Bi CRI 
max(z?e ^", y > 0) — 4e? /h?. (h > 0), 
由 (4243), 4 0 <A < t < a f 
lim sup(1/n) y tn Eolexp(Afk)Xx-1i] ~ Eod Xii]) 


k=l 


< lim sup( 1/n) 3 {Bo [exp4A f 3I Xi-1] — 1 — Eoi Xil) 


k=1 


< limsup(1 fn) Y Eg[(e f — 1 — Af.) Xia] 


k=1 


< lim sup(1/n) Y^ Eal (A?/2) fle feli y. 1] 
k=1 


= lim nsup(1/n) X02984 [e^ f» f2e II 79041 yr, " 


< (2/2) limsup(1/n) Y J Egfe* le- PIAL — a)2|X, 4] 
k—1 
< A!2r fe? (t — a), (4.2.24) 


其 中 ， fa(X.-i, X) 简 记 为 fs. 由 (4.2.23),(4.2.24) 和 (4.2.14), 得 


lim sup A(1/2) Y (fa(Xi-i, Xx) — EgUfk Xx. X2) Xi-a]) 
n= oo p 


< ATH, h(P|Q), w € AQ). (4.2.25) 
由 (4.2.12) 和 (4.2.25), 得 
lim sup À ( (1/9) 92 Us (Kei, Xr) 7 Bolfe Xy, Xr)|Xr-1)} 
k=1 
< X2H,+c, u € ANDI. (4.2.26) 


当 D<A<t<a 时 H (42.26), 得 


n 


lim sup(1/n) 240628) ~ EgUfs(X11, X )|Xi-1i]) 
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< AH, - c/À, w € A n D(o). (4.2.27) 


容易 看 到 ， 当 0 c < OH, 由 函数 g( = AH, e/A, E X = Vc/lHt 处 可 取得 最 
小 值 g(/ c/ Hi) = 2/efl,. 在 (4.2.27) 中 令 X = /e/F,, 可 得 
limsup(1/n) Y UG X) — Eglfa(Xx-1, Xx) Xxai]] 
noo #1 
< 2VeH:, we A(Ve/Hi) n Dle). (4.2.28) 
因为 P(AG/c/ Hi) = 1, 由 (4.228), 可 得 
lim sup(1/n) > ^ (fe(Xx—1, X.) — Eolfe(Xr-1, X) Xil) 
Too k—1 
< 2 ef, P-as.TFD(c). (4.2.29) 
当 e= 0, 选取 A, € (0,4](i = 1,2,---), ff M — 0(4 — 00), 并 令 A* = nes, Al). 
那么 对 所 有 由 {4.2.26) 可 得 
limsup(1/n) YU. (Xii, Xk) 一 Eglfa& Xp i, X)| Xx] 
noo kl 
< XH, we A'n DO). 
因为 P(A*) = 1, 故 (4.2.29) Æ c = 0 时 也 成 立 . 
3⁄4 —a < -<A<0 时 ， 由 (4.2.26), 同 理 可 得 
lim inf (1/n) UG Ke) 7 Ealfr( Xr1, XX i] 
k=1 
> 24cH, P-as.T D(c). (4.2.30) 
(4.2.15) 可 由 (4.2.29),(4.2.30) 直接 得 到 ， — (4.2.16) 可 由 (4.2.15) 直接 得 到 ， 定 
理 证 毕 . 
下 面 我 们 给 出 酒 数列 (mu), n > 1} XR BW E R E (4.2.13) 的 两 个 


例子 . 
例 4.2.1 $ 


f. (i, 7) = — ln palt, 7), Qa = min{ pn {i, ), i,j E S) = Palins ju). tas ja € S. 


W an 一 Ü. 34 n — oo, 则 fa(fn; jn) — oo, 因而 {fnn > 1) 是 无 界 的 . 令 0< = < 1. 
Vic S, f 


N 
Eqlexpla| f(X r-i, XX) Xi = 1 = > pu) 7? < N. 
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故 满 足 指数 假设 (4.2.13). 
例 42.2 令 {galr yn > 1) R S? E ps CAM, WR TELA 


0 glr y) < M < co, n> 1. 
Bn = maxí(g,(z,z), z, E S} = Inlin jn) >m>0, 
{ann > 1) 是 一 正 数列 且 满 足 : 


lim sup ne, = co, 
nog 


limsup(1/n) 》 e?*«M «o G> 0 


fil fnt, y) = Os gn (2, y)- 于 是 lim sup, -+0 fn Gin, Ju) = oo, W Un z 1j 是 无 界 
的 . Vç € S, 可 得 


N 
Eglexplofa(X—1i, X5)) Xr- = i] = Y exp{aargrli, i) prli, j) < eM. 
2=1 


因此 假设 (4.2.13) 成 立 . 
定理 4,2.2[ 刘 文 ， 杨 卫 国 2000} i 


H,=2N/e2(- - 1, 0<t<1. (4.2.31) 
在 定理 4.2.1 HRF, 4 0 < c< H, 时， 我 们 有 
lim sup [zo _ 0/93 Hip(Xi—1,1),:-- Coco 
< 2VeH: P-a.s. FD{e), (4.2.32) 
lim inf [ne - OD Hia 1): 2088] 
22VcH,—c P-as. TD(e), (4.2.33) 


此 处 H(pi,--- pu) 表示 分 布 (p1,… pu) KOR, Bj 


N 
H(pi, ,PN) 7 — 5 p; Inp;. 
一 
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证 在 定理 4.2.1 中 令 fi(mny)--Inpkzy) (k 2 1), e= 1. H% 


N 
Eolexp[fa X1, X1) } Xr- = i) = Y exp{! - Inpk(i,j)|]pk(6,j) 


j-i 
N 
= V palis j)/prli j) = N 
j=1 
因此 Yi€5, 


bli) = lim sup(1/n) Y^ Eoleepl f (Xs LXX- =] = N. (4.2.34) 
k-1 


注意 到 
Eo|- In pk 1 大 -1 --Y (X&-1, 3) In pal Xx1,3) 
了 一 工 


一 Hl[pr Xr 1)... : Pkl Xk 1, N)]. 


40 <e < tH, W, H (42.34),(4.2.31) 和 (4.2.15), 有 


lim sup fam Y '(-np (Xr, Xx) - (1/n) X H|[Əpk(Xk-1,1), pel Xk- vi 


ki k=1 
< 2y eH, P-as. D(e), (4.2.35) 
lim inf [um Y -Inpi(Xi-i ,Xi))- (1/n) y Hipk(Xk-3,1), e Pel Xk-1, ij 
k—1 k=i 
> 2 cB, P-as-F D(c), (4.2.36) 


H (4.2.35), (4.2.7) 和 (4.2.10), 有 


imap [fit - (1/n) )9^ ip (Xre~1,1) Lx 


k=1 


< lim sup ku Xa) — (1/n) Y (O In ps (Xx ÉL 


k=1 


Hisp fj De Ingy(.Xx 1, X«))- (my EC 1)-- mta ll 


k=1 k=1 j 
< — liminf(1/n) ln pas. - , X, )/a(Xo) [os xo +2v cH, 
k=) 


<2IVeH: P-as-F Dü). 
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由 (4.2.36), (4.2.9) 和 (4.2.12), 有 


liminf fr 一 (1/n) 7 H|pi(Xk-1,1),** ,Pr{Xr-1, ny 
k-1 


> liminf [amaga .X,)— am Y ote] 
k=1 


+ mat fel so Os X) (0) Y HQ, nOn] 
k=1 k=1 
—h[P|Q) - 2y cH, 


2 
--2VceH,—c P-as. F D(c). 


即 定理 4.2.2 得 证 . 
推论 4.21 i 


Jim [zt 一 (1/5) V7 Hlpe( X1, 1),……- oo = 0 P-a.s. 于 D(0), 
- (43.37) 
wR P < Q. ni 


Jim [o - (1/0) $^ His QGa 1), sia] -0 Pas, (4238) 


kl 


特别 地 


Jim {0- (1/2) V5 Hlp.(Xx 1,1), axQ s Ny] =Ü Q-as. (4.2.39) 
k=1 
证 £F (4.2.32) #l (4.2.33) P$ e = 0, 可 得 (4.2.37). 如 果 P < Q, W h(P|Q) = 
Ü P-a.s.( 参 考 Gray 1990, p.12), 即 P(D(0)) = 1. 因此 由 (4.2.37) 可 推出 (4.2.38). 
特别 地 ， 如 果 P — Q, H h(P|IQ) = 0. 因此 由 (4.2.38), 可 推出 (4.2.391. 
定理 4.2.3( 刘 文 、 杨 卫 国 2000) 在 定理 42.1 RAF, WE (Fa(m,y)hnzl) 
RAR, MEE M > 0 使 得 [fom y)] < M,n > 1, js c > 0, 我们 有 


S {fr{ XE Xr) — Eglfi(Xx—:, XA) X1] 
k=1 


< M(c4- 2c) P-as. F D(c), (4.2.40) 


limsup(1/n) 
"T 


证 H (4.2.23),(4.2.12), 以 及 (4.2.24) 第 三 行 的 公式 ， 有 


lim sup X(1/n) {fel Xs Xi) ~ Eglfs(Xu-i Xe) Xa} 


k=1 
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< limsup(1 n) Y: Eq (esf 1 Af te, o € AQ)n D(e). (4.2.41) 
下 一 DG k=1 
内 定理 的 假设 和 不 等 式 e? — 1 一 x < lelle- i), 有 
e^ — 1— Xf, < [AM (e — 1). (4.2.42) 
H (4.2.41) 和 (4.2.42), 有 
limsup A(1/n) 》 Cfs (Xy 1, Xr) — Eglfa(X41. Xr) Xr} 
n—oo k=1 
< APM — DM +e, u € AAN Die. (4.2.43) 
14 À > 0, 由 (42.43), 得 
lim sup(1/n) Y {fk(Xr-1, Xr) — Bolfr( Xu 3, Xx) Xx-i]) 
noo k=1 
< M(e24 ~ 1) + ` w € A(M)n D(c). (4.2.44) 
取 A = (1/M)In(1 + yeh 利用 不 等 式 
In(1 + e) > i x° Je (4.2.45) 
38 c> 0. # 
lim sup(1/n) Y OG s Xx) — Eo[fs( Xx i, Xx] Xi]] 
T-—Do k—1 
< M(ved rx y5) 
< M(2VG + e), we AG In(1 + Ve) n Dle). (4.2.46) 
因为 P(A((17M)In(1 + Vc))) = 1, H (4.246), 得 
lim sup(1/2) 3 ^ (fa X1, Xx) — Eg[fa(Xx 5, X.)|X,-,]) 
noc k=l 
< M(c- 2c) P-as. F D(c). (4.2.47) 


M A <ü, H (4.243), 得 


liminf(1/n) $ {fr (Xr, Xa) — Eo[fe(X1-1, Xs) Xn-1]) 


k=1 
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—M(eM —1)+ $, w € AQ) N Dle). (4.2.48) 


取 入 = —(1/M)In(1 + c) 代入 (4.2.48), 利用 (4.2.45), 当 c>0 时 有 


I 


lim inf(1/n) $ (faCte-i, Xk) ~ Eo fe( Xu-1, Xr)lXr-1]} 


k=1 


cM 
2-Mwyc- In(14 V6) > —M(ce + 2vc), 


weA(- = In(1 + V/c)) n D(c). (4.2.49) 
由 于 P(A(—(1/M)ln(1 Ve) = 1, Bi (4.249), 得 
lim inf(1/n) Y Usa Xo) - Egl|fs( Xx-1, Xi) Xi] 
k=1 


> —M(e + 2 E) P-as. F D(c). (4.2.50) 


用 类 似 的 方法 可 知 ， 当 c=0 时 (4.2.47) 和 (4.2.50) 同样 成 立 ， 不等式 (4.2.40) 可 
HI (4.2.47) 和 (4.2.50) 直接 得 到 ， 定 理 4.2.3 证 毕 . 


84.2.3 Shannon-McMillan 定理 在 非 齐 次 马尔 可 夫 信 源 中 的 推广 


定理 4.2.4( 刘 文 、 杨 卫 国 2000) 设 在 概率 测度 P F {Xa,m > 0) 是 非 齐 次 马 
尔 可 夫 信 源 ， 其 状态 空间 为 S, 初始 分 布 为 (42 全, EHEER (4.2.5), 即 


P(Xo = 70 , X, = za) = p(Zo, ` ma) = q(zo) [[ Prr 22). (4.2.51) 
ki 


ik i, € S, ÆJI Xo(e),Ja(u), e- Xaci(w) P à UR CR Ss Cu), PF 52) 
(Xolw), X1(w)). 
QG(w), Xa(w)).- -- Xu), Xa(w)) rp RE BI (2, 3) 出 现 的 个 数 记 为 Sali jw, Bn 


Saliw) = Y OG i0) 


Sni, jw) = Y A OG ())5; 0X (0), 


k=1 


此 处 ó; (:) 是 Kronecker ó 函数 ， 设 


(p(5j). pü) > 0, ajes (4.2.52) 
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为 另 一 转移 矩阵 ， (pupa ps) 为 其 平稳 分 布 ， 且 fuu) 由 (4.2.2) EX. WR 


limsup(1/n) Y peliat) - 95.3) S 0, Y ij € 5. (4.2.53) 

noo k=1 

那么 
lmsup(1/n)S,(¿ w} =p,  P-as., (4.2.54) 
n— 02 

lim sup(1/n)S4(,3,w) = p;p(i,j)  P-a.s., (4.2.55) 

n= 
lim sup fav) = -FF nw ij)np(j) P-as. (4.2.56) 

i=1 j=1 


证 4 Qt ifs (4.2.4) 和 转移 矩阵 (4.2.52) 决定 的 齐 次 马 氏 测度 ， 即 


q(zo.: `` i Zn) = gizo) Il se-522. (4.2.57) 
k=1 


由 (4.2.9),(4.2.51) 和 (4.2.57), 得 


pk(X;x_ 1, Xk) 


h(P|Q) = lim sup( 1/n) Y ln MX XQ) 


k=1 


在 (4.2.39) FA P fU Q ,由 (4.2.7) 和 (4.2.39), 得 


(4.2.58) 


lim TO X, 3, Xx) - Snl Xr-1,4)Inpr(Xr-1,5)} =0 P-a.s.. 


j=1 
(4.2.59) 
出 定理 4.2.3, 易 得 
Jim (1/n) > (ma Xp Xk) 一 wx 1, j)Ing( Xii, 3)] =0 P-as. 
k—l 了 一 1 
(4.3.60) 
Ht (4.2.59) 和 (4.2.60), 得 
z Pil Xk 1, X4) ad a PEG 1. 7) _ 
Jim (1/n) > {m PX. X) ~ 27 k(X1a, j)1 On) }=0 P-a.s.. 
这 就 得 到 
i x, pk(Xk-i, X.) 
MNA (1/n) 2 ln p( X: 1. Xx) 
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; d px(X-3,2) 
= lim sup MEAM 
n N pie i) 
= limsup Q0) 3,3, iC Xia DA ^ Pas. (4.2.61) 
H SSX, $ 
> pii j) ln Ë aei > 0. (4.2.62) 


由 (4.2.61),(4.2.62), (4.2.53), aas 以 及 不 等 式 inz < z — 1, z > 0, 得 


N 
h(P|Q) = lim sup (1/n) Y Y Y (j) ori 


k=1 t=1 7=1 pli, PGJ) 
n N N p ii) 
< lim sup( MN i [202 5 1 
^ XY 1 pli, j) J a P(1/n), mt [px (i,j) — pli j) < 0 P-a.s.. 


ft 一 1 j= 
ZAH P(D(0)) = 1. 这 样 (4.2.54) 一 (4.2.56) 可 由 定理 4.2.3 得 到 (参见 刘 文 与 杨 
卫 国 1996b). 定理 证 毕 . 
推论 4.2.2 令 [a]! = max(a,0). t 


lim sup (1/8) yo ü443)—-»(4J)] = 0, Vi, es, (4.2.63) 
eA 
那么 (4.2.54)—(4.2.56) 都 成 立 . 
证 注意 到 (42.63) 887835 (4.2.53), 故 上 述 推论 成 立 . 
下 面 我 们 构造 一 个 满足 (4.2.53) 的 例子 . 
例 4.2.3 $ o = min(p(i,j), Lj € SY, B = max(pl j), ij € SY, (ca 人 全 四)， 
ij € S AW J TN B 


N N 

Y leni t = Yes(637, í S, n2 1 
j=1 j=1 

d, = max{|en(i, 7)], 1,7 € S) < minfa, 1, —8], 
Y d, m < oo. 

n=1 


4 prli j) = pli j) tenli j). 那么 (pali) ABILE, H Kronecker 引 理 ， 有 
Jim (1/n) Y Ipet, J) -pI < lim (1/n) > de = 0. 
k=1 k=1 
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XX HE (4.2.53) 得 证 . 
$4.3 整 值 随机 变量 序列 与 二 重 马尔 可 夫 链 的 比较 


本 节 引 进 了 对 数 似 然 比 作为 整 值 随机 变量 序列 相对 于 二 重 马 氏 链 的 偏差 的 一 
种 度量 ， 并 通过 跟 制 对 数 似 然 比 给 出 了 样本 空间 的 某 种 子 集 ， 在 这 种 子 集 上 得 到 
了 整 值 随机 变量 序列 的 一 类 用 不 等 式 表 示 的 极限 人 性质 ， 其 中 包含 对 二 重 马 氏 链 普 
遍 成 立 的 若干 强 律 ， 

W {Xan > 0) 是 在 S = {0,1,…} 中 家 值 的 随机 变量 序列 ， 其 联合 分 布 为 


P(Xo = Ip Xn = Za) = p(zo, ttt En), z; € S, 0 < ¿ < m. (4.3.1) 
WE {Xunn > 0} 是 一 个 二 重 马 氏 链 ， 其 初始 分 布 与 转移 矩阵 列 分 别 为 
(»(5,j) +j € S) (4.3.2) 


5 

P, = (pmi jD), ijl ES, n> 2, (4.3.3) 
其 中 qli, j) = P(Xo —-d4X,- Jb pa(5 7,10 = P(Xn = I|X. -1 — Í Xn-2 = $n > 2, 
MW n > 2 Rf, 


ri 


p(ro, 24) = p(zo zi) || pele 2 01 Ti), TE ES, 0S kn. (434) 
k—2 

为 了 表征 任意 随机 变量 序列 与 二 和 恒 马 汇 链 之 间 的 差异 , 我 们 引进 如 下 的 定义 . 

定义 4.3.1 设 {Xn,n > 0) 是 具有 分 布 (4.3.1) 的 任意 整 值 随 机 变量 序列 ， 称 
BE BUE Gt . 

ral) = s PX TI am Oa Xa Xe) 

A {Xk,0 < 天 三 中 相对 于 二 重 马尔 可 夫 型 分 布 (4.3.4) 的 对 数 似 然 比 . 

HF Xn (0 < k < n) WARA, K ralo) as. 有 定义 ， 显 然 当 (Xu k > 0) 是 
以 (4.3.4) 为 分 布 的 二 重 马 氏 链 时 ， nu) 三 0 a.s.. 

本 文 将 通过 限制 对 数 似 然 比 而 给 定 样 本 空间 的 一 个 子 集 ， 然 后 在 此 子 集 上 考 
虚 一 类 用 不 等 式 表 示 的 强 律 . 

首先 引进 如 下 的 记号 ， vije sS. 令 Salij) ARTE 


(Xo, Xiah (X i, Xa). Gua Xan) (4.3.6) 
PER (0,7) FIR, Sali) ERI 


Xi, Xa, Xan (4.3.7) 


(4.3.5) 
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中 宇 的 个 数 ， (GG c Sy & S ER) Kronecker ó m. EI 


Salini) = Y bX); (Xa), (43.8) 
k=1 
S,(i) = Y 40). (4.3.9) 
kzl 


定理 4.3.10] 3c. XI B W 1995) 设 (X,,n > 0) 是 具有 分 布 (43.1) 的 随机 变 
E F$], ralw) W (4.3.5) EX, c20 ARR, les + 


. l< .. 
bi = lim sup a 2, px (z, 3,1), | (4.3.10) 
Dic) = [w: lim inf Tralw) > =c}, (4.3.11) 
J| bu > 0 时 ， 
Ifo; - ， 
lineup 2 [5,0 -D D pelii D(X 2) Xi)| 
nom n k-2i€S8 
< bg KA - 1 a.s. + D(c). (4.3.12) 
4t 
1 n _. 
liminf = s.c D-Y: nij Da Xe-2)5 (XO) 
k=2 ES 
> ba leo _ ! as. 于 D(c), (4.3.13) 
Ht 


EP a(0) = 8(0) = 1, 4 e > 0 BF afe), ple) 如 引 理 3.3.1 中 所 定义 ; 24 b, = 0 HS, 


jim, 254. - E Yom DOG aa) =0 as 于 DG， 634 
k22ics 


XE Hk ([0,1),7, P) 为 所 考虑 的 概率 空间 ， 其 中 Z A [0, 1) 中 Lebesgue 可 测 
集 的 全 体 ， 为 Lebesgue 测度 .仿照 82.8 给 出 具有 分 布 (4.3.1) 的 随机 变量 序列 
在 此 概率 空间 中 的 一 种 实现 .构造 各 阶 D 区 间 ， 使 得 


P(D.,...z,,) = p(zo, jn). (4.3.15) 
对 每 个 n>>0 定义 随机 变量 X, : [0,1) 5 S 8T: 


X,(u) = z4, w € Des, (4.3.16) 
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H (4.3.15), (4.3.16), 有 
P (Xo = zp, Xa = Za) 一 P(D:o-..r, ) = p(zo, ttt 2n} (4.3.17) 


于 是 (X,,n > 0) 具有 给 定 的 分 布 (4.3.1). 下 面 我 们 就 按 {Xn,n > 0) 的 这 个 实现 
来 证 明定 理 . 

VEA des BUS PEDIR E DECRE (0,1) 组 成 的 类 ， 入 是 正常 数 ，j,1e 5 固定 . 在 
A 上 定义 集 函 数 以 依赖 于 015,0 如 下 ， 当 n 之 2 时令 


"s ; "n 1 Š (zw 23)6;(ZX-1) 
Bas.) = A ee TT TI [es 


k=1 iES 

.p(zo,z1) [ [7c -2 01 ma). (4.3.18) 
k=2 
X 

B(Dzos.) 一 » LH( Dyozi za); (A.3.19) 

zz€S 
p( Da) 一 y` 有 (Den ) (4.3.20) 

*i€5 
u([0.1)) = Y ` p(Dz,). (4.3.21) 

TES 


iË n > 3, H (43.18), 有 


B( Dy.) = B Das, )Pa(25—2. Ta-1: m Ahh) 

1 ñ (za -2)5, (24-1) 
JI >-  —_ 4.3.22 
II f T (A = 1)pn (i, 2, 可 ( ) 


ies 


H (4.3.22), 4 zn-1 = J HA 
> BD, ) 


1 
_ D, a AS) TAI (A Iim (z sz. D| nodi 
B Da, PM ma h ocaecat) 
= 下 [下 rom) | > + > | 
Fea-b zn 


= p(D ) pA 
ZoEG (à 一 Dpa(z4—2,24-1,!) 1+ (A 一 l)pa(z,-o £5—1,0) 
= 中 (也 cr a), (4.3.23) 
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又 当 zn-1 关 7 了 时 有 


Y aD. ‘zn) 一 n(D;,.. ai ) 2 prem- 2:Zn-1: 5) = 及 Dee i). (4.3.24) 
由 (4.3.23), (4.3.24) 及 (4.3.19)—(4.3.21) 4n p 是 A 上 的 可 加 集 函 数 ， 故 存在 定义 
在 [0,1) ERER f, 使 得 对 任何 Ds。…z,, 有 


BD.) = JA Dian) — fA, e): (4.3.25) 


其 中 Dit... Duo. 分 别 表示 Dooce, HE. 左 端点 . 以 下 的 证 明 过 程 可 完全 模仿 
83.1 中 (3.1.33) 一 (3.1.55) 的 推导 方法 , 只 需 将 83.1 中 的 S, (eu) 变 为 Sali, I), p (k) 
变 为 转移 概率 p (X2, 3,0, bi 变 为 bj 即 可 . 

推论 4.3.1 在 定理 4.3.1 的 假设 下 (不 论 bi 是 天 大 于 0) 有 


Jim [Su (4) — Y Y ij 6X2 és (a1) =0 as 于 D(0). (4.3.26) 
k=2 <€ S 
证 在 (4.3.12) 一 (4.3.14) F$ c = 0 BB48. 
推论 4.3.2 设 (X,,n > 0) 是 具有 初始 分 布 (4.3.2) 和 转移 矩阵 列 (4.3.3) 的 
二 重 马 氏 链 ， 则 有 


Jim [Su )- Y Y prli j Da (X; 2)6;(za-4)] =0 as.. (4.3.27) 
kc2i€S 


证 因为 此 时 relw) — 0 as., aC P(D(0)) = 1. 于 是 由 (4.3.26), 即 得 (4.3.27). 
定理 4.3.2 在 定理 4.3.1 的 假设 下 ， 记 


bi = lim sup — 2» sup, plij 0D), (4.3.28) 
WMA b, > 0 IN 8 
lim sup = "IS, (0) - Y 3. prli, j, 4: (Xx—2)05 (X—1)] 
k=2 ií, jES 
€ bi[B(c/b) — 1], as. + D(c), (4.3.29) 


lim inf Zisa) 一 Y y` prli, j, Dó CX&2)5; CX —1)] 


k—2 ¿Jes 


> biloe(c/br) — 1] as. + D(c), (4.3.30) 
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其 中 a (0) = 8(0) = 1, 4 c > 0 Itf ale), G(c) 如 引 理 3.3.1 中 所 定义 . 234 b = 0 Bf 
lim lis () - > y» prli, j, Dii X; a XE) 2 0 as. D(c). (43.31) 
n° n kT2 jES 

证 设 A,A 如 前 所 定义 ，1 € 5 固定 在 .4 上 定义 另 一 集 函 数 v 如 下 : 当 

n > 2 时 令 


4i(z4-2)0; (ra 1) 


x - 1 
TTC ——— 
u[D.....z.) = AE BG II I! É T (A — 1)pk (š, j, Í) 


k-2i,j€5 
p(zo 21) FT pr (Tk-2, ZE-1, ma). (4.3.32) 
k-2 
Xe 

v( Dzor) = 》， V(Dasz iz); (4.3.33) 

z2€8 
v(D«) = M (D...) (4.3.34) 

zics 
v((0,1)) = >` »(D). (4.3.35) 

ZES 


in > 3, 由 (4.3.32), 有 


v(Dz.:,)— v( Da... Pn (£n-2:8n-1, Cn) Xen) 


II | 1 p ( ) 
. — Í —_ 4.3.36 
Ljcs 1+ (À = l)pk(z,j,D) 
H (4.3.36), 有 
Z u(D;,...z, ) 
_ u[D:o...z i) bitza) 
一 1 十 (À _ l)pa(;a-2,Ta-1,1) > À Dx[Z a —2, 25-124) 
= xD -| X 十 X | 
mam m 
Apa(£n-2, Za 1.) 1 — pa (Za—2, Tn-1,1) 
= zy(D， a) D Pn 
“Dror |: FA Dpata-n tn D ^ 1 Q — Dpnlen-2, tnl) 


= v( Danen). (4.3.37) 
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由 (4.3.37) 和 (4.8.33)—(4.3.35) 知 v 具有 可 加 性 ， 以 下 的 证 明 过 程 与 $3.1 中 
(3.1.32)—(3.1.55) 的 推广 类 似 ， 只 需 将 83.1 中 的 Suo) 换 成 Sall) pilk) Sx 
PR(Xg—2, Xk-1, 1), by. B R. b; BPEJ. 

推论 4.3.3 在 定理 4.3.2 的 假设 下 (不 论 Bi 是 否 大 于 0) 有 


Jim Z Is.) — y` 5 prli, j, DE (Xaa 00-1) =Ü as. F D(0). (4.3.38) 
k=2 i, jES 
推论 4.3.4 设 {Xn,n > 0} 是 具有 初始 分 布 (4.3.2) 和 转移 矩阵 列 (4.3.3) 的 
二 重 马 氏 链 ， 则 
lim 1 [s0 一 X y Pk (ifs Dh OG a0) =Ü as. (4.3.39) 


于 一 小 总 已 
n k-2ij€S 
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本 章 利用 似 然 比 概念 研究 非 负 整 值 相依 随机 变量 的 极限 性 质 ， 得 到 了 一 类 强 
偏差 定理 . 证 明 中 结合 区 闻 剖 分 法 ， 提 出 了 将 母 泪 数 的 工具 应 用 于 强 极限 定理 研 
究 的 一 种 途径 . 


85.1 非 负 整 值 随机 变量 序列 的 
一 类 强 偏差 定理 与 母 函数 方法 
W {Xn,n > 1} 是 概率 空间 (0,7, P) 上 的 非 负 整 值 随机 变量 ， 其 联合 分 布 为 
far: za) = P(Xi = zi, Xn = En) > 0,z ES, Skan, (511) 
# S= {0,1,2,---}. 又 设 
(pPe(0), pell) e) k= 1,2,- (5.1.2) 


是 S 上 的 一 列 分 布 ， 并 设 


go(z En) = [[p (za), zk Es, 15k <n (5.1.3) 
k=1 


是 由 (5.1.2) 生成 的 乘积 分 布 ， 令 


ra(w) = q (Xi: Kn)/ fn X1, X8) = [TT Aali Xa), (5-1.4) 
k=1 
其 中 心 RREA, raw) 称 为 似 然 比 . 上 述 定 义 中 ， 万 (zzn) 是 (X lEkzn) 
的 联合 分 布 ， gn(x1,.… Za) 称 为 参考 分 布 ， 我 们 用 似 然 比 rs (e) 作为 {Xr 1< 
k < n) 与 具有 乘积 分 布 (5.1.3) 的 独立 随机 变量 序列 的 偏差 的 一 种 度量 ， 对 nu) 
的 限制 决定 了 样本 空间 的 一 个 子 集 ， 在 这 个 子 集 上 建立 了 一 类 用 不 等 式 表示 的 强 
极限 定理 ， 即 强 偏差 定理 ， 而 通常 用 等 式 表示 的 强 极限 定理 是 其 特殊 情况 . 
设 具 有 分 布 (5.1.2) 的 随机 变量 的 数学 期 望 和 母 函 数 分 别 为 


mk 一 Y prli) < oo, l (5.1.5) 


i=l 
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P, (s) = > pili. (5.1.6) 


定理 5.1.1( 刘 文 1997d) 设 (X4,n > 1}, ranlw), mr, Pela) 均 如 前 定义 ，c>>0 
为 常数 ， 令 


D(c) = (o: lim inf(1/n) In ra(u) > —c), (5.1.7) 

则 有 . 
liminf(1/n) Y (X, —mxy)zo(c) a.s.+. D(c), (5.1.8) 

上 一 1 

其 中 
a(c) = sup(@(s),0 < s < 1], l (5.1.9} 
(s) = Him inf(1/n) Y^» A(9)/ Ins — mk + c/In s,0 < s < 1. (5.1.10) 
k=1 


注 5.1.1 A F BS uEBH B 


limsup(1/nlnr4(w) < Ü a.s.. (5.1.11) 
Thx 


因此 (5.1.7) 中 的 条 件 Bm inf, soo (1/n)In r.(w) > 一 e 可 以 看 成 是 对 { 21) 5 
具有 分 布 (5.1.3) 的 独立 随机 变量 序列 的 偏差 的 一 种 限制 ，c 越 小 时 偏差 越 小 . 上 述 
定理 表明 在 此 限制 下 ，(1/m 四 并 05 — ms) 也 相应 受到 限制 ，(5.1.8) 与 (5.1.30) 
分 别 给 出 了 依赖 于 c 的 下 极限 和 上 极限 ， (5.1.49) 与 (5.1.61) 表明 ， 当 c 一 0 PF, 
(5.1.46) 与 (5.1.58) 给 出 的 上 、 下 界 也 趋 于 O. 

证 在 下 述 证 明 中 我 们 将 利用 区 间 前 分 法 并 采用 母 泗 数 这 一 有 力 工具 , 这 种 方 
法 不 同 于 以 往 传统 的 概率 方法 , 其 关键 是 利用 单调 哨 数 导数 存在 定理 ( 即 Lebesgue 
定理 ) 来 研究 as. Heg. 

设 (Q,7,P) 为 所 考虑 的 概率 空间 ， 其 中 全 = |,1),7Z 是 [0,1) 区 间 上 的 
Lebesgue uB E e fk, P 是 Lebesgue WE. 首先 给 出 具有 分 布 (5.1.1) 的 非 
负 整 值 随 机 变量 序列 在 此 概率 空间 的 一 种 实现 . 

将 区 间 [0, 1) 按 比例 五 (0) : Fi) :… 分 成 可 列 个 左 闭 右 开 区 间 : 


Do = [0, fi(0)), D: = [A (0), fa) TA)-- 


这 些 区 间 都 称 为 一 阶 D RE. i n Et D P: aj [Da z I € S,1 < í < n) EAE 
义 ， 将 它 按 比 例 疡 Hz t En 0): fatalt Eml) 分 成 可 列 多 个 左 闭 右 
FKH D... a En 0,12, -), 这 样 就 得 到 % 二 1 阶 DD 区 辣 ， 由 归纳 法 易 
知 对 任何 n, 有 

P(D.,...,) = f. (zi, ma). (5.1.12) 
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Xs (uw) = 25,34 9 € Da, a, (5.1.13) 

由 (5.1.12) 与 (5.1.13), 有 
{w Xn = t Xn = z) = Daren: (5.1.14) 
P(X, = 21, , Xa = £n) = P(D,,....) = falzi, Tn) (5.1.15) 


于 是 (X,,1 <i < n) 具有 分 布 (5.1.1). 
为 了 证 明 的 需要 ， 我 们 先 来 构造 一 个 辅助 函数 . ix (5.1.6) 的 收敛 半径 为 Ris 
= inf(R&, k —1,2,--- J. HT P,(s) dé — BOR BERGE R 21. s € (0, R)U(1), 
L2 
BPx(5,i) = [1/P&(s)]ps(2s^, i= 0,1,2, (5.1.16) 


同样 ， 我 们 可 以 按 如 下 对 [0,1) 区 各 的 分 割 来 构造 A 区 间 ， 将 区 间 [0,1) 按 比 
例 P,(s,0) :总 (s,1) :… 分 成 可 列 个 左 闭 右 开 区 向 : 


Ap = (0, Bi(s, 0)), AQ = [Pits, 0), BP(s, 0) t P (s, 1)), 


这 些 区 间 都 称 为 一 阶 A 区 间 . W n Bp A 区 间 As 已 经 定义 ， 将 它 按 比 例 
P,.+1([s,0) M Pas, 1) Io 分 成 可 列 多 个 左 闭 右 开 区 间 A... za zn +i [Zn+1 = 
0,1,2,.…), 这 样 就 得 到 nn 十 1 Br A X aj. HAAA n: 


n nn 


P(As....) = [[ Pkl zx) = Tt PA«lp (257^. (5.1.17) 


k=1 k=1 


设 Dz ou Di. ozp? DAL. ao A, ea, 4r Z4-" Tn 与 A, 的 左 、 dim A. 4 Q 
为 所 有 D 区 间 的 端点 的 集合 ， 定 义 增 函 数 


gs : [0, 1] — (0, 1] 


WH F: 
gs (DE sn) = At... (Du) = Aa (5.1.18) 
galz) = supíg,(t),t € QN [D z)), » € [0,1] — Q. (5.1.19) 
令 
tala, w) Da DR weD (5.1.20) 


Di. æn Da.. Zn 
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出 (5.1.4), (5.1.13), (5.1.15) 与 (5.1.17), 有 


P(Dzi za) _ 


P(Az; Zn ralw)s Ete X T [[i Pa)). (5.1.21) 


k=1 


ta (5,0) = 


Wt g 的 可 微 点 的 集合 为 4(s)， 则 由 单调 函数 可 微 性 定理 有 P(A(s)) = 1. 根 
据 导 数 的 性 质 (参见 Billingsley 1986, p.423), 有 


im tnls,w) = R RBE, u € A(s). (5.1.22) 
H 
limsup(1/m)]nt,(8,2) € 0, u € A(s). .. (5.1.23) 


由 (5.1.21) 5 (5.1.22), 有 
lim sup(1/n)[ln rs (uw) + yx In s] € limsup(1/5) Y n Bio), € A(s). (5.1.24) 
noc k=l n= k=i 
在 (5.1.24) 中 今 s=1, 得 


limsup(1/n)Inr,(w) € 0, w€ A(1). (5.1.25) 
由 于 P(A(1)) = 1, 故 由 (5.1.25) 知 (5.1.11) 成 立 ， 由 (5.1.24) 及 (5.1.7), 有 


limsup(1/n) 》 Xi Ins < limsup(1/n) 3 "In P,(s) +e, w€ A(s) n D(c). (5.1.26) 
Tio OX k=l 所 下 om k=1 


I 0 < s< 1, $ (5.1.26) 两 端 同 除 以 ms 得 


liminf(1/n) Y (X, — m) 
k=1 
liminf(1/n) Sin B,(s)/Ins — mi] + e/ ma 
k=l 
pls} c A(s) n D(e). (5.1.27) 


H (5.1.9) 知 ， 存 在 s; € (0,1),i =1,23, 使 得 


IV 


il 


Em e(s;) = a(c). (5.1.28) 
Z A= r°, A(s;), 由 (5.1.27) 5 (5.1.28), 即 得 


lim inf(1/n) Y — m4) > o(c),w € An D(e). (5.1.29) 
k 


=] 
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HF P(A) = 1, th (5.1.29) 51 (5.1.8) 成 立 ， 定 理 证 毕 . 

it 5.1.2. 由 于 随机 变量 的 任意 族 {Xat e T) 的 概率 性 质 可 以 用 它 的 有 限 子 
族 的 分 布 来 表示 (参见 Loéve1977, p.174), 故 不 失 一 般 性 ， 可 以 通过 IX, n > 11 的 
某 种 特殊 实现 来 证 明定 理 . 

定理 5.1.2( 刘 文 1997d) 设 瑟 如 前 所 定义 ， 并 设 上 号 >1. 则 在 定理 5.1.1 的 假 
设 下 有 


TL 


limsup(1/n) 30 — mk) € Ple) a.s. F D(c), (5.1.30) 
n-oo k=l 
其 中 
Ble) = infíf%(s),1 < s < R}, (5.1.31) 
(s) = limsup(1/n) Y^ hn P(e)/Ins —my]tc/Ins,1« s < R. 【5.1.32) 
noo kal 


证 E 1 < s < R, 将 (5.1.26) 两 端 同 除 以 lns, 得 


lim sup(1/n) Y 0G — mk) 


k=1 


> limsup(1/n) 5 {In P,(s)]/Ins — ma] + e/ Ins 
noo k=1 


= (s), w € A(s} Nn Die). (5.1.33) 
由 (5.1.31), 存在 s; € (1, R), = 1,2, #4 
lim v(s;) = Ble). (5.1.34) 


f—ron 


A A= nes A(s), H (5.1.33) 5 (5.1.34), 得 


lim sup(1/n) S (Xs — m.) > Bleh w € An Die). (5.1.35) 
n-+0o0 Puri 
由 于 P(A) = 1, 由 (5.1.35) 可 得 (5.1.30) Ri. EREHE. 
推论 5.1.1 设 在 rn(w) 的 定义 中 ， {pHi = 0,1,2) 是 以 入 >0 为 参数 
的 Poisson 分 布 ， 并 令 


À = limsup(1/n) Y ` X, < co. (5.1.36) 
noo k=l 
则 
lim sup(1/n) 》 (Xx — x) < 2VÀc + e as + D(c), (5.1.37) 


k=1 
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lim inf(1 站 On — Xk) > -2VAc as. + D(c). (5.1.38) 
k—1 
证 在 此 情形 ， Pk (s) = e», mk = Àk, 令 
9«(5) = (1/n) $ [in P.(s)/Ins — ma] +c/ Ins 


k—1 


= [(s — 1)/1n s — 1](1/n) Y Àkrc/Ins, s€ (0,1) U (1, R). (5.1.39) 
k=1 . 


由 (5.1.39), (5.1.32) 和 不 定式 1- 1/s < Ins € s— 1(s > 0), # 


v(s)— lim sup gn (8) = [(s — 1}/ lns — 1A + c/ lna 


* PEST Xt+ 1 -Tj 
= A(s — 1) +c/(s — 1) +c = g(s), s€ (1, R). (5.1.40) 


易 知 如 果 c > 0 B À > 0, BI g(s) # à — 1+ /c/) 处 达到 它 在 区 间 (1,R) 上 的 最 小 
tE v(c) = 9(1 + /efÀ) = 2/ Xe e, H (5.1.40) 知 v(c) > B(c). 于 是 由 (5.1.30) 可 得 
(5.1.37). 同样 有 


pls) = lim inf gx (8) =[(s— 1)/1ns - 1A + c/Ins 


> hM 


ZUR = 
= As-1)-tec/(s— 2 = h(s}, s E (0,1). (5.1.41) 


易 知 如 果 0 < c < À, H| h(s) dg s = 1— Ye/X 处 达到 它 在 区 间 (0,1) 上 的 最 大 
值 mle) = —2VÀc, 则 由 (5.1.41) 知 ale) € ale). 于 是 由 (5.1.8) 可 得 (5.138). & 
然 ，a(0) = 8(0) = 0, 且 如 果 入 = 0, WA afe) = Ble) = 0. BR c = 0 或 
À = 0, (5.1.37) 5 (5.1.38) 也 成 立 . 

定理 5.1.3( 刘 文 1997d) 令 


Oo 


e()- 5, m) i€8, (5.1.42) 


jen 


Q. (e) = $ a(i)5 (5.1.43) 
i—0 


LEG MEE I LA LISTE E 
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分 别 为 分 布 (5.1.2) B FEURESEURI EK EE PR. 如 果 存 在 一 烈 正 数 (g): < 0} 使 


得 
qeli) < alihi > 0, > 1, 
Y) = m < eo, 
i=0 


则 在 定理 5.1.1 的 假设 下 有 


miaftt/m Y (X — m) 2 ac} as. + D(c), 


k—1 
其 中 
ale = sup(s,(s),0 < s < 1), 
V» (8) = liminf(1/n) Y [seQe(s) - Qi{l) + e/Ins, 0«s«1. 
k=1 
Ho,(c) < Ü 


lim axfc) = e,(0) = 0. 


c—0t 


(5.1.44) 


(5.1.45) 


(5.1.46) 


(5.1.47) 


(5.1.48) 


(5.1.49) 


证 HPF X1-l/z«Inz«z-—1(0cxz«1)4 BER ECIE TERR (参见 Hunter 


1983a, p.39) 
Qus) 一 [1 = P;{s)]/0 = 8), 8 < 1, Qk (1) = Mik, 
H (5.1.27), 得 


liminf(1/n) D(X — ma) 
k=1 


> liminf(1/n) 37 — my] t c/ Ins 
k-i 


= liminf(1/n) Y lsQ,(s) - Q.Q)] + e/ In 
k=l 
= p(s), 0 < 8 < 1,w € A(s)n D(c). 
H (5.1.47). 存在 s: € (0,1),7 = 1,2,- ,使 得 
lim pals) = os(e). 


4 A = nes Als), 由 (5.1.51) 4 (51.52), 有 


lim inf(1/n) Y. — mk) > o, (c), w € AN D(e). 


k=1 


(5.1.50) 


(5.1.51) 


(5.1.52) 


(5.1.53) 
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因为 P(A) — 1, H (5.1.53) 知 (5.1.46) 成 立 . 
H 0 <a < 1,sQk(s) — Q, (1) < 0, 55 ols) < 0, # a(c) < 0. 4 


Q(s) = Y q()s (5.1.54) 


1-0 


是 (q(i), i > 0) 的 母 函 数 ， 由 (5.1.42) 与 (5.143), 有 
(1/n) >_[sQr(s) — Qk (1)] 
k= 


1 


[fs — 1)/n] Da T (1/n) »»* i)(s!— 1) 


k-1i—0 
> (s 一 QI) - om， 0<s<1. (5.1.55) 


由 (5.1.47), (5.1.48) 与 (5.1.55), 有 
asle) 2 e«(1— V6) > (1— VIRU- V6) - Q(1) ef In(1— V6), < e < 1, (51.56) 
a«(0) > o. (1 — 1/n)Q(1— 1/n) - Q(1), n > 2. (5.1.57) 


由 于 o,(c) < 0, 显然 由 (5.1.56), (5.1.57) 可 得 (5.1.49). 定理 得 证 . 
定理 5.1.4 ( 刘 文 19974) 4 R & (5.1.54) 的 政 敏 半径 ， 并 假定 R > 1. 则 在 
定理 5.1.3 的 假设 下 有 


lim asup(1 /n) S X, — mk) € B,(c), w € Die), (5.1.58) 
k-1 
其 中 
Bale) = inf(j (s), 1 < < R}, (5.1.59) 
v.s) = limsup(1/n) Y^iQi(s) - Q,(Q)] -c/Ins, 1<s< R, (5.1.60) 
k=1 
HB B. {e) 之 0, 并 且 
Jim, B«(c) = B(0) = 0. (5.1.61) 


证 易 知 在 定理 的 假设 下 ， (5.1.6) 与 (5.143) 的 半径 小 于 等 于 R. B. 
Qi) = a, 1 < 8 < R. (参见 Hunter 1983a, p.39) (5.1.62) 


由 不 等 式 0 < 1 — 1⁄/z < Inz < z — 1(z > 1) #l (5.1.62) 中 母 函数 的 性 质 ， 根 据 
(5.1.33), 得 


lim sup(1/n) ) (a — ma) 
k=1 
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< lim sup(1/7) > [aQx(s) — Q(T + cf/ ins 


k=1 
=.(s),1 < s< R, we A(s)n D(c). (5.1.63) 


由 (5.1.59), 存在 s; € (1, R}, 4 —12,--- ,使 得 
lim a(s) = B. (c). (8.1.64) 


4 A= =, Als). H (5.1.63), (5.1.64), 得 


lim sup(1/n) 》 "(Xx — ma) € &.(c), w € An D(o). (5.1.65) 
他 下 OO k—1 
H P(A)= 1, H (5.1.65) 即 得 (5.1.58) 成 立 ， 仿照 (5.1.49) 的 证 明 ， (5.1.61) 得 
推论 5.1.2 在 定理 5.1.3 的 假设 下 有 


lim (1/n) Y 0 —-my)-0 as. F D(0). (5.1.66) 
k=1 
证 — c= 0, H (5.1.46) 55 (5.1.58), 立即 可 得 (5.1.66) 成 立 . 
推论 5.1-3 令 {Xunn > 1) 独立 并 具有 分 布 (5.1.2). 在 定理 5.1.3 的 假设 下 有 


Jim (1/n) Y (X, 一 me) 20 a.s.. (5.1.67) 
k=1 

证 ERF., raw) = 1, B D(0) = [0,1). 因此 由 (5.1.66), 即 得 (5.1.67) 
成 立 . 

未 解决 的 问题 

我 们 看 到 在 (5.1.30) 与 (5.1.58) 的 推导 中 ,条件 R> 1 是 本 质 的 . 另 一 方面 ， 
对 一 列 独立 同 分 布 的 随机 变量 的 强大 数 定律 来 说 ， 只 需 假设 一 阶 矩 存在 即 可 .这 
RIET FAHA: BEBI R> 1 外 ， 定 理 5.1.4 的 条 件 满 足 ， 疝 是 否 存 在 一 个 
非 降 函数 8 : [0, co) 一 [0, oo) 满足 下 列 条 性 


lim, B(c) = 8(0) = 0 (5.1.68) 
使 得 对 每 一 个 < 之 0, 有 
limsup(1/n) Y (X, — mk) < ple) a.s. 于 D(c). (5.1.69) 


k=1 
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85.2 一 类 随机 偏差 定理 与 母 函 数 方法 


本 节 利 用 对 数 似 然 比 的 概念 和 母 男 数 的 工具 研究 非 负 整数 值 随机 变量 序列 的 
极限 性 质 ， 得 到 一 类 随机 偏差 定理 (样本 型 偏差 定理 ), 即 用 不 等 式 表 示 的 一 类 偏差 
界 依赖 于 样本 点 的 强 极限 定理 . 

设 (X,.n > 1} JE S= {0,1,2,--…} 中 取 值 的 一 列 随 机 变量 ， 其 联合 分 布 为 


P(Xi = zi,:-: , KX, = En) = fa(zio En) > 0,0, € S,1 < k < n. (5.2.1) 


Xu 


(pk(0), pu(1), +), k= 1,2,... | (5.2.2) 
X S 上 的 一 列 分 布 ， 为 了 表征 (Xu, n 2 1) 与 服从 乘积 分 布 

Iso zk 6 S, 1<k<n (5.2.3) 

k=1 


的 独立 随机 变量 之 间 的 差异 ， 引 进 如 下 的 对 数 似 然 比 
ralu)  In[f 6. Xn) [T5 Xe). (5.24) 
k=1 


并 令 l 
Fr(w) = Bm sup 地 ra: (5.2.5) 


其 中 w 是 样本 点 ， {Xnn 21} 具有 分 布 (5.2.1). 
设 分 布 (5.2.2) 的 母 孟 数 和 尾 概率 母 函 数 分 别 为 


Pk (s) = 5 OLE (5.2.6) 
t=D 
Qk. (s) = J alijs, (5.2.7) 
iz) 
其 中 
qx = $, Peli), (5.2.8) 
i 


定理 5.2.1( 刘 文 199923) Wb (X,,n < 1) 是 具有 分 布 (5.2.0 的 随机 变量 序 
列 ， r(w), p (i), gli), Pels), Qela) 如 前 定义 ， 并 设 


my 一 Y ipa (i) < oo, (5.2.9) 
i=1 
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D = {w : r{w) < œ}, P(D)=1. (5.2.10) 
如 果 存 在 正 数 列 (q(i),i 2 0}, 使 得 
Y «) = m < co, (5.2.12) 
i=0 
则 有 ， 
lim inf Z Y (Xr — mk) > a(r(u)) a.s., (5.2.13) 
kei 
其 中 
a(z) = sup(p(a,z), 0 < « < 1). z > 0, (5.2.14) 


1 z 
> = lminf — 一 — > .2. 
pls, 2) lim inf » 2 [Qo Q4(1)] + na’ 0cs«i,z20, (5.2.15) 


o(x) < 0; lim, e(z) = a(0) = 0. (3.2.16) 


证 HOO [0,1), HH Lebesgue 可 测 集 的 全 体 和 Lebesgue 调度 也 组 成 所 考虑 
的 概率 空间 . 首先 按 S5.1 中 的 方法 给 出 具有 分 布 (5.2.1) 的 随机 变量 序列 在 此 概率 
空间 中 一 种 实现 . 为 以 下 证 明 的 需要 , 先 构 造 一 个 辅助 一 数 . W (5.2.6) tr Sie £s 
X Re & R=in Re, k= 1,2,- ). i s € (0, R)U(01) 为 常数 . 将 区 间 [0, 1) 按 比 例 
Pils, i) = pilis /P,(s) ($ = 0,1,2,…) 分 成 可 列 个 左 闭 右 开 区 间 Ao = [0, P, (s,0)), 
A, = [P,(s,0), P,(s,0) + P.(s,1)),-  : ,这 些 区 间 都 称 为 一 阶 A 区 间 . dx n r A X 
HEEN, HEREA Pails i) = panas /P,+i(8) (i = 0,1,2,…) 分 成 可 列 个 
TE BE EIER] A。 genan (0041 = 0,1,2,...), 就 得 到 十 1 Br A 区间. 由 归纳 
法 可 得 


P(A.,-.. sa) = Ha (s, z&) = II Rien. (5.2.17) 
设 DZ. Dh AT... an Mesas, 分 别 表 示 Di su, 与 人 Ao,,… ,x EA. 
右 端 点 ， 记 所 有 DD 区 间 的 端点 的 集合 为 G. 定义 [0,1] 上 的 单调 函数 g(x) 如 下 : 
ga Da. an) = Az euo 9D an) = AZ (5.2.18) 
g.(z) = sup(g,(t),t E G n (0, z)), z € [0,1] — Q. (5.2.19) 


g (Di... s) = g. (D... an) 


~ (5.2.20) 
Di.sz—Dnezxu c 


tais w) = 
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则 有 


(T: [g gas) 


8, = sbi- Xe kl 7 . .2. 
in(s:w) EG K (5.2.21) 


H (5.2.21) 5j (5.2.4), 有 
Ints(s,u) = Y X&lns 一 Y In Fk(s) — ra(w). (5.2.22) 
k=1 k=1 


设 gs 可 微 点 的 全 体 为 4(s), 则 由 Lebesgue AT É US iR Pin] MESE EUR. P(A(s)) = 
1. 根据 导数 的 性 质 ， 有 


im tala w) 二 有 限 数 , w € A(s). (5.2.23) 


由 (5.2.22) 与 {5.2.23), 有 


” 


limsup — D XyIn s — SynPl (s) ^ rai] < 0, w E€ A(s). (5.2.24) 
k=1 


H (5.2.24) 与 (5.2.5), 有 


limsup 一 Yx Ins < lim sup — XL t r(w), w € A(s). (5.2.25) 


ns 


EOcscl HF m <o (k= 1,2,...), 83 (5.225) 两 边 同 除 以 ns, 得 


In A). my] + w, w € A(s). (5.2.26) 


liminf — 33 — mk) > liminf — 32 
利用 不 等 式 1-1l/z<lnz<z-l (z > 0) RB NU PER [参见 Hunter 1983a, 
p.39), 有 


LM, ls| < 1; Qi(1) = ms. (5.2.27) 


Qi(s) = 1 


"OcsclH, H (5226), 有 


MN . . 1 xo Rls) ^1 r(u) 
二 一 > lI Le — 
Smit 2 om) > mint g 3 + Tas 
— limint Š J `P Qk (e) — Qk (1) riw) (5.2.28) 
n—co mn Pani Ins ; 


BLE TME HH K a Mh 
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设 Qk 为 (0,1) 中 有 理 数 的 集合 , 令 A = aeg, AG) W P(A.) = 1, B Hi (5.2.28), 


8 


il uel NE riw} 
二 ,— my) > 一 - A 
lim inf " > my) 2 lim inf 元 ZLPQuta Qk (1)| + "EL € A,, Vs € Q, 


In 


在 (5.224) i s = 1, 得 


lim inf rs) > 0, w € A(1) 


出 此 有 
r(w) > 0, w E A, ñ A(1). 
+ 
g(s) = lim. ipf; Y euo) - QW) 0 < < 1. 
于 是 有 


I 
£ = — > 
(sz) = g(s) + 5, Ü < s < 1, z 2 0, 
a(x) = sup(g(s) + M 0cs«1), z > 0. 


显然 g(s) < 0, (s, z) € 0, 因而 o(x) < 0. jz (q(2,? > 0) S BE BR CA 


Q(s) = V a(i)5*. 


izü 


当 0<s<att<1 时， 由 (5211) 5 (5.2.2), 有 


0< g(s + t) — g(s) 


n 


:=1 


(5.2.29) 


(5.2.30) 


(5.2.31) 


(5.2.32) 


(5.2.83) 


(5.2.34) 


(5.2.85) 


= lim inf - > (s + )Qk(a + t) ~ Q«()] — lim inf = Y sQ. (s) — Q. (1)] 
k k-1 


= liminf = "Rs Qals + t) — Qu] + limsup = S" ou — sQk(8)] 
k=l noe n k=l 


< lim sup - Y ü + tQx(s + t) — Qia) 
nexo kal 


< lim sup L > s[Qk (8 + t) — Qu(s)] + lim sup - Y Qx(s + t) 
noo kol 


了 一 DC k=l 
- 
< sY ati) + t): — sl! + tm 
1-0 


= s[Q(s + t) — Q(s)] + £m. 


(5.2.36) 
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由 (5.2.36) 知 g(s) Æ [0,1] 上 连续 .从 而 e(s,z) 关于 s 在 [0,1) 上 连续 . 于 是 由 
(5.2.34), (5.2.31) 与 (5.2.10) 知 ， 对 每 个 we A, N A) 1 D, 可取 An(w) € Q, (n = 
1,2,...), 使 得 

Jim g(An(w), r(e)) = o(r(w)). (5.2.37) 


由 (5.2.29) 与 (5.2.33), 有 


nnl -12,- 
liminf n 2 9s -= mk) 之 eO), r(u)), e € A,GA()nD, n- 1,2, 


(5.2.38) 
由 (5.2.37) 5j (5.2.38), 有 
lim inf - Y — m4) > a(r(w)), w € A, n Á(1) D. (5.2.39) 
k=1 
由 于 P(A, mn A(1) n D) = 1, KH (5.2.39) %1, (5.2.13) 成 立 ， 
当 0<s<1 时 ， 由 [5.2.11) 与 (5.2.35), 有 
NB - Q 
- I3 a). -Fat 
k=1 i=0 
LY Yates: - 
> YUY aG)GA -1) (6 — 1 < 0, a) < ad) 
k=1 i=0 
-ly Yos - L57340) 
k=1 i=0 k=1 +=0 
= sQ(s) — Q(1). (5.2.40) 
由 (5.2.40), 4 0 < z < 1 HE 
a(z) > e(1— /z,z) = g(1 — Vz) + 5 
> (1 — /z)Q(1 — vs) - Q(1) + ra Jj (5.2.41) 


Zivr-o0oBü 


e()»osd-1)20-2)90-2)-Qü) n>1 — (5242) 
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由 于 a(z) < 0 (z > 0), # (5.2.1) 5 (5.2.42) 4], (5.2.16) 成 立 ， 证 毕 . 
推论 5.2.1 在 定理 5.21 的 条 件 下 有 


lim inf 1 Y (X, — mk) > o.(r(w)) a.s., (5.2.43) 
ncc TL fl 


其 中 
a. (z) = sup(sQ(s) — Q(1) tns ,0«s«1j, zz 0. (5.2.44) 


Q(s) 出 (8.2.38) 定义 ， 且 有 e(r) < 0, 


lim. o,(z) = o,(0) = 0. (5.2.45) 
rt 


证 HH (5.2.33) 5 (5.2.40), 有 


v(s,z) > sQ(s) — Q(1) + is 0 < s< 1, z > 0. (5.2.46) 


由 此 知 a, (z) < ale). 从 而 (5.2.43) 可 由 (5.2.13) 推出 ， 仿 最 (5.2.16) 的 证 明 ， 可 
WE (5.2.45). 
推论 5.2.3. {Xunn 2 1) 相互 独立 ， 令 


mk = E(X4), prli) = P(X, = i), i€ S. (5.2.47) 


和 如果 存 在 正 数 列 (o(),i > 0) 满足 条 件 (52.111) 与 (5.2.12), H gi) 由 (5.2.8) Œ 
X, MH a 
lim: inf $ (Xi, — mk) > 0 as. (5.2.48) 
k=1 


证 令 (5.2.4) 中 的 peli) H (5.247) 定义 ， 则 r(w) = 0. 由 于 o(0) = 0, 故 
(5.2.48) 可 直接 由 (5.2.13) 得 到 . 

定理 5.2.2( 刘 文 1999a) it (X,,n > 1) 是 具有 分 布 (5.2.1) 的 随机 变量 序 
列 ， mp glirio) 均 如 前 定义 .。 如果 (5.2.10) 成 立 ， 且 存在 正 数列 (a.i > 0}, 
使 得 


- 3» q(i, š € 8, nz 1, (5.2.49) 
Y «9 « oo, (5.2.50) 
1=0 
则 
lim inf = Y (X, — mk.) > alr(w)) as (5.2.51) 


k=1 
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其 中 
alz) = sup(sQ(a) — Q(1) + FI O«sc«1), r> 0, (5.2.52) 
Q(s) = V ais, (5.2.53) 
i-0 
HA 
a(z) < 0, lim, afz) = a(0) = 0. (8.2.54) 


定理 5.2.3( 刘 文 19993) 设 定 理 5.2.1 的 假设 成 立 ， 且 (5.2.35) foc Scop 
R > 1, WE 


lim sup - Y (x, — mk) < BIr(w)) a.s., (5.2.55) 
rt — sh] k-1 
其 中 
B(z) = inf[p(s, r), 1 < s < Rh. z > 0, (5.2.56) 


pis, s) = limsup L 2 SQ) — Q«(1)] + r> O< a< R, z > 0, (5.2.57) 
R. 
pz)>0 lim, A(z) = A(0) = 0. 


定理 5.2.4( 刘 文 19993) 在 定理 5.2.2 的 假设 下 , dx Re(k = 1,2.) 5 R* 分 
BI Qile) 和 Q(s) WKZ, $ R = inf{Rr,k > 1}, R, = minut RJ. 如 果 
R. > 1, J 


limsup Z Y (X, — mij) € A(r(o)) a.s., (5.2.58) 
11— k=1 
其 中 
Blz) = inf(sQ(s) — QU) + TI 0cs« R}, z > 0, (5.2.59) 
B4 
8(z)20, lim (z) = 9(0) =0. (5.2.60) 


定理 5.2.2—5.2.4 的 证 明 与 定理 5.2.1 类 似 ， 从 略 . 


95.3 随机 条 件 概 率 的 一 个 极限 性 质 与 条 件 和 矩 母 函 数 方法 


B {Xn,n > 0) RE S = {1,2,… N} 中 取 值 的 一 列 随 机 讲 量 ， 其 联合 分 布 
为 


P(Xa = mo, ,Xn = EQ) = p(zo.:-- a) 20, n€ $, Oian. (5.3.1) 
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记 
Pa(za|Xo,: £n.:1) = P(X, = Tn|Xo 一 了 0 Xn- = #n-1)} n $1. (5.3.2) 
本 节 研 究 随 机 条 件 概率 和 pk CXk[Xo, Xr-1)1 < k < n)) 的 调和 平均 a.s. roi 


于 x 的 条 件 . 证 明 中 提出 了 将 关于 网 的 微分 法 与 条 件 矩 母 函数 的 工具 应 用 于 强 


极限 定理 的 研究 的 一 种 途径 . 
定理 5.3.1( 刘 文 2000c) 设 (X,,n > 0) 是 具有 联合 分 布 [5.3.1) 的 一 列 随机 
TE. $ 


ak 一 IninfpkfzRglz2o zkh z;€ 5, 0<i< ky, kl. (5.3.3) 
如 果 存 在 o > 0, 使 得 


lim sup(1/n) yen = M < co, (5.3.4) 
noo k=1 


则 随机 条 件 概率 (p (Xl Xo, s Xr) 1 < k < n)) 的 调和 平均 a.s. KAF E Bi 


1 


T 
lim —=—— = as 5.3.5 
nns > kai PRX Xo, - -- XR N 8.8 ( ) 
证 设 {Xn,n 20) 所 在 的 概率 空间 为 (0,7, P). 4 
Dao. = (i Xr = ma Ü) < k < n), Xx 8 S, 0 < k < n, (5.3.6) 
则 有 
P(D,,) = p(zo), (5.3.7) 
P(Dz,..s,) = P(£0, tt , Za) = p(zo) TI»czilao. --- Eh) n21. — (53.8) 
k=1 
Dz.a, 称 为 n 阶 柱 集 ， 其 全 体 记 为 N... 设 t 为 实数 ， 令 
My(t,20,- ,Ph-1) = E [eo X DX AY | Xo = gmt ,XE = Zk—1] 
N 一 工 
= y` etps (21 zo. yi) Prlz lE,- ;2 一 1 (5.3.9) 


mx=1 
Mk.(t,zo,: 4&1) 称 为 在 条 件 Xo = 29,71 Xk-1 = ma F, pk[(Xk|Xo,: Xx) 
BOE RERERE P. $ 


+ ye 24)7i 
eimi (ns [2o7 281) pa (ze |20, "° ,Tk1) 
1 


mlt "PES = 
altzo va) My(f zo, eea) 


(5.3.10) 
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Wi H (5.3-9), 有 


XN 
Y oma(t zo. ,En) = 1. (5.3.11) 


Th 二 1 


& N = {0,0} U (UY%oNn). ÆN EELE AZ As WF: 
ml) — 0, pw) — 1, (Drs) = pizo), (5.3.12) 
Im [D;,....,,) = Hil Dau, 1 mn l(t, To, ttt £a) 


= p[zo) II mk, (t, $0,777 Zh) n > 1. (5.3.13) 
k=1 t 
由 (5.8.11)—(5.3.13) 知 pt 是 W 上 的 测度 ， 易 知 AV 是 一 半 代 数 ， 故 p+ 可 惟一 的 
开拓 到 e(N) CF E. 设 Ip Xm D 的 示 性 函数 (D c 0). 令 


(D) 
T«(t,uw) = Ë Íp, 
te= 3» P(D) ” 


即 
IUD xs) X. tu) 


T,(t,w) = 
(59) = BO ex. (o) 


(5.3.14) 


BA £A, n 之 1 是 一 个 网 . 由 网 微分 法 { 见 Hewitt 与 Stromberg(1994), p.373) 5l, 
存在 AH € oN), PLAH) = 1, 使 得 


Jim Tatu) = 有 限 数 ，w € Alt). 


由 此 有 
limsup(l/n})lnT,{t,w) < 0, we A(t). (5.3.15) 


由 (5.3.8), (5.3.10) 与 (5.3.13), 有 


^o etrr Xr Xor Xr- 
T, (t, w) = HI Mit, Xo, -- , Xr) Xo. 一 SX.) 


(5.3.18) 


由 (5.3.15) 5j (5.3.16), 有 


lim sup(1/n) | ipi XilXo, ttt Xii) tt 一 y In M, (t, Xo, Ut i4) 


k=1 二 1 


<0, cw € A(t). (5.3.17) 
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利用 不 等 式 Inz < z — 1(z > 0) Z 0 < e“ — 1 — z < ige ell, 由 (5.8.17),(5.3.9) 与 
(5.3.3), 有 


n 


limsup(1/n) 》 [pk(Xk|Xo,: , Xx) t — Nt] 


r— o 


k=1 
< lim sup(1/n) V [Im Mk(t, Xo, --- ,Xx 1) — Nt] 
n k=1 


TL 


< limsup(1/n)  "[My(t, Xo, X1) - 1 — Nt] 
TL— rx 


k=1 
n N 
= limsup(1/n) 3 ` Y ` pa (zə|Xo0,: , Xu) 
neo k=l z=1 


„[ePr (rH Xo. Ma 1 一 Pi(x&|Xo, UU Xy) *t] 


e n N _ z w _1 
< 3 limsup(1/n) Y y Prler|Xo :- . ,Xk-1) lepx[ k |Xo, ,Xk-3) lt] 


k=1 mk 
2N n 
CUN lim sup(1/m) Y ` gian. w € A(t). (5.3.18) 
2 "noc — kl Gk 
易 知 当 D < 和 < 工时 有 
-1 
max(zA",z > 0} = Thi (5.3.19) 


设 0<t<o H (5.3.18), (5.3.19) 5j (5.3.4), 有 


limsup(1/n) 9 "IC Xo, Xn-1)! — N] 


k=1 


tN c. 1 
«LL 一 etfop 
sx lim sup(1/5) > =° 


k=1 
tN 1 ,et 
= 1 —(-l)e" 
z limsup( Ima et 
tNM 
~ 3e{a — 8 w E A(t). (5.3.20) 


R £&€(0o)k-—12,-.,f tk — 0(38k — oo), 21-9 A* =Z LACE). 由 (5.3.20), 
有 
limsup(1/n) V [p(X] Xo e s Xr) N] <0, we A*. (5.3.21) 
n—-oo k=1 
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设 —a <t < Q, 由 (5.3.18), (5.3.19) 与 (5.3.4), 有 


liminf(1/n) $ "ps (Xe Xo ,Khet) - N] 
k=1 
iN. . ^1 —t/akx 
> 本 It/ 四 之 PG 
_ tN. . A 1 —(t+a) a/an 
=- imint(1/n) 3, ze e 


UM c At) (5.3.22) 


^ Zefa + t) 
取 Bh E (—a,0),k = 1,2,- 3 使 8k — ok 一 oo), 3t A, 一 D$? 4 A(ak). 由 
(5.3.22), 有 


limint(1/n) Y ps GG1Xo, o Xi) 1 N] 20, € A. (5.3.23) 


大 一 】 


7 A= As n A,. H (5.3.21) 5 (5.3.23), 有 


Jim (1/n) $ [ps Xs Xo, 了 -一 N] =0, o € A. (8.3.24) 
k-1 
由 于 P(A) = 1, 故 由 (5.3.24) 即 得 (5.3.5). 定理 证 毕 . 
在 刘 文 {1994c) 及 刘 文 、 杨 卫 国 (1966b) 中 作者 用 分 析 方法 研究 了 非 齐 次 马 氏 
链 随 机 转移 焰 率 的 几何 平均 及 对 数 随 机 转移 概率 的 算术 平均 的 某 些 极 限 性 质 ， 作 
为 这 些 讨论 的 补充 , 在 以 下 的 推论 中 我 们 得 到 了 m 重 非 齐 次 马 氏 链 转移 概率 调和 
平均 的 一 个 级 限 性 质 . 
推论 5.3.1 d m EEES, {Xan > 1) R m 重 非 齐 次 马 式 链 ， 其 初始 分 
布 与 转移 概率 分 别 为 


p(zxi:- Zm) = P(X ==". Xm = Em) > 0, 
Prok(Emk|Zk 7 fk m1) 


= P(Xmtk = tmyk| Xk = fks" ,Xkim-i = Tfkam-1) 20, kd. 


» 


bx = min(Po ar k(Zmak|ltk. "t r Ekem-1): ES, k& ¿< m+ k). 


如 果 存 在 a > 0, 使 得 


lim sup(1/n) 》 e*/5 = M < oo, (5.3.25) 
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则 随机 转移 概率 |Poak(XmeklXi Krema 1€ k < n) 的 调和 平均 a.s. lf oi 
于 N' Ej 


Jim (1 /n) V5 PaskXsaklXie, Naima] =N as. (5.3.26) 
k=1 
证 EBEA, H (5.3.25), 可 得 (5.3.4). 由 (5.3.5), 可 得 (5.3.26). 证 毕 . 
易 短 如 果 
ak>m>0 k-12,-, (5.3.27) 
则 
limsup(1/n) 5 e/o < eM, 
TL— OQ k=l 
Bp (5.3.4) 成 立 . 
现在 我 们 来 给 出 上 述 定 理 在 估计 {p(Xx|Xo,… Xr 1 < k < ny 的 算术 
平均 中 的 一 个 应 用 . 
推论 5.3.2[ 刘 文 2000e) 在 (5.3.27) 条 件 下 有 


1/N < limsup(1/n) V, pe (XlXo,... , Xk-1) 
noc 


ki 
证 4 br = max[pi(zk|zo,--: 24-1) Z; € S, 0 < i < n]. 易 见 
ay, < 1/N < b, < 1 (N — jak. (5.3.29) 
由 (5.3.27) 5 (5.3.29), 有 
m < m Xx|Xo,:-- , Xy 1) < 1 - (N — 1)m. (5.3.30) 


由 (5.3.30) 及 Schweitzer 不 等 式 (参见 Mitrinovié 1970, p.59), 有 


(39) Xx) s a 


=1 


其 中 0<A<ad < Bk=1,2,.., 我 们 有 


1 — lc - 
Ë DPLK Xa xj l: 2 iO Xa 
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< DL -(N - 2f? 
^ 41 - (N — D)m]mN" 
利用 定理 5.3.1 及 算术 平均 与 调 种 平均 不 等 式 ， 由 (5.3.31) 即 得 (5.3.28). 
注 5.3.1 X 


(5.3.31) 


[1 — (N — 2)m] 
4[1 — (N — 2)m]mN ' 


e(m) = 
则 


im, (m) = (LN) = 1/N. 


特别 地 ， 如 果 m = 1/N, 则 


lim (1/N) pe(XilXo, Xii) = 1/N ass. 
k=l 


85.4 关于 样本 炳 的 一 类 强 偏差 定理 
85.41 基本 概念 
É S 是 一 可 数 实数 集 ， (X,.,n > 1} 是 概率 空间 (0,7, P) 上 在 S 中 取 值 的 
一 列 随机 变量 ， 其 联合 分 布 为 
P(X, = zy, ,Xn = En) = ga(2 t 28), Wi € S, 1 < í < n. (5.A.1) 
为 叙述 简单 起 见 ， 设 g. > 0. + 
fnlw) = -(1/n)Inga(Xi,-- ,Xn), (5.4.2) 


其 中 w 为 样本 点 ， Xi 代表 Xu), fale) RA {Xal < i x n) ItEA RE HOA E 
E. 设 @ 是 大 上 的 另 一 概率 测度 ， (XXa) XT Q 的 分 布 为 
Q(Xi= zi: X, = 24) = qa(Zu,- , Tn) > 0, z; € S, 1 <í <n. 


令 
L, (e) 一 In[g (X1, ttt Xa) gn(X1, tt Xn) (5.4.3) 


Lw) = lim a sup(1/n)La (uw) 
= —limint(1/n) Inlga( Xi Xo) /9s (X. , Xa), 5.44) 


D(ga||qa) = EL, = Eln[gs (X, tt. Xain Xa, ttt , X,.)| (5.4.5) 
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L«(w), L(w), 和 D(gallan) 分 别称 为 相对 于 参考 分 布 gn(21,… Znj( 2 1) 的 样本 
HRH., EAR AER 它们 是 {Xi,1 << n) 的 真实 分 布 gn 与 参考 分 
布 q, 之 间 的 偏差 的 一 种 信息 度量 (参见 Cover 与 Thomas1991, p.12 & p.18). 

信息 论 中 的 一 个 重要 问题 是 样本 粹 的 极 服 性质. f Shannon 的 开创 性 工作 (9. 
Shannon 1948) 发 表 以 来 ， 不 少 作者 对 这 一 问题 进行 了 系统 的 研究 (M Algoet 与 
Cover1988, Barron 1985, Breiman 1957, Chung 1961, Kieffer 1974, 刘 文 1990a 与 刘 
文 、 杨 卫 国 1996b). 本 节 的 目的 是 利用 相对 于 参考 敢 积 分 布 的 相对 炊 与 样本 相对 
录 率 的 概念 ， 建 立 任意 相依 随机 变量 序列 的 一 类 Shannon-McMillan 型 强 偏差 定理 
( 即 用 不 等 式 表 示 的 强 极 限定 理 ). 离散 无 记忆 信 源 的 Shannon-McMillan 定理 是 其 
特例 , 证 明 中 将 刘 文 (1990a 与 1991b) 中 提出 的 分 析 方 法 和 辕 收 全 定理 结合 起 来 ， 
给 出 了 将 母 淆 数 的 工具 应 用 于 强 极限 定理 研究 的 一 种 途径 . 

为 引用 方便 ， 我 们 首先 给 出 似 然 比 的 一 个 极限 性 质 作为 引 理 ， 

3H8 5.4.13. 按 上 文中 的 记号 我 们 有 


limsup(1/n)In[q, (.X1,:-: , Xn) /on (Xi X.) < 0 as.. (5.4.6) 
证 这 是 因为 似 然 比 Z, = dC X3, tt ,X.)/ga (Xi, ttt Xa) E-Pin LES, 


故 Z, as. WW 23 F — 4" # BERE. Hie (5.4.6) 成 立 . 
注 5.4.1 显然 (5.4.6) 蕴涵 


L(w)z0 as. (5.4.7) 
i$ {Xn,n 之 1} 如 上 所 给 H 
prizi) = P(Xk = zkh ES, k > 1. (5.4.8) 


为 Xk 的 边缘 分 布 ， 设 


mnfz yn = pelar) (5.4.9) 
k=1 


2 225 REPAIR. eus (n) 与 (uw) 分 别 为 关于 rn MEER TIP A EDGE =, 
B 
Pnlw) = In[g.(X1,- XO, :X4]]. (5.4.10) 


pw) = lim sup(1/n)ós G) 
= - lim. inf (1/n)log[m (Xs, - -- Xs)/ga(Xi, Xn) (5.411) 


H (5.4.7), 有 
$(w)20 as. (5.4.12) 
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在 下 文中 我 们 和 将 用 de) FARRAH talei- ,zn) 与 {Xn} 的 真实 分 布 
9a(21,--- ;Zn) 之 间 的 偏差 的 一 种 随机 度量 ， glw) 越 小 ， 此 偏差 就 越 小 . 


85.4.2 相对 于 乘积 分 布 的 Shannon-McMillan 型 强 储 差 定理 


É —Inp.( Xk) IS SEPA DOR 


及 (a] = Es PEPY) — x p (ü)a log ps, (5.4.13) 
ies 
易 知 (5.4.13) 的 收敛 域 是 其 长 度 不 小 于 1 的 一 个 区 间 ， 
定理 5.4.1(X] X. Bx. LA 2000) jJ (X,,n > 1}, olw) É Pels) 如 上 定 
X, 
D = {w : (wu) < oc]. (5.4.14) 


如 果 存 在 >> 1 使 得 Pelr) < oc(k > 1), H 


lim asup (1/n) Y 50- M (ze) < oo, (5.A.15) 
k=1 
则 
lim inf(1/n) ) $ [一 Iapg(Xh) - H(X4)) > -BG(w)) as. + D, (5.4.16) 
k=l 
lim sup(1/n) Y I Inge(X4) — H(X4)] < B(ófo)) as. FD, (5.4.17) 


此 处 H(X,) = E[-Inpnk(X,)) 为 X, (9508, B 
Bir) = imflg(s.z),1 < s < r, z > 0, (5.4.18) 


2e? M(r)In s z 


g(s,z) = (b ins] + hs > 0, (5.4.19) 
而 且 有 
= 8(0) < Ble) < [PEHO * 1s, ya) (5.4.20) 
注 5.4.2 $ 
a(z) = sup(a(s,2), - <s < 1), 220, (5.421) 
则 有 


alz) = —6(x). (5.4.22) 
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证 s€ (0,r]. 为 以 下 证 明 的 需要 ,我 们 首先 构造 一 个 依赖 于 参数 s 的 乘积 
分 布 . + 


Pals, i) = [1/P(s)pr(t)s Tred, ¿e g, {5.4.23) 
ra(mi oz.) = [[56 zx) = DL[E/ PG) G8 ^ €. (5.4.24) 
k—1 k=1 


易 知 Tatz1,-… za) 是 S^ 上 的 分 布 ， 其 中 Pls zk) 是 3 上 的 分 布 ， 令 
Z,(s,u) = r (Xi: , Kn) /gn( Xi n Xa). (5.4.25) 
由 引 理 5.4.1, 存在 Als) < F, P(A(s)) = 1, 使 得 
lim sup(1/n) In Zn(w) < 0, w € A(s). (5.4.26) 
由 (5.4.25) 和 (5.4.10), 有 


In Z,(s,) = —[Š (n s) npl Xr) + Y In P,(a) + ó, (o). (5.4.27) 


k=1 k=1 


H (5.4.26) 55 (5.4.27), 有 


limsup(1/n)[— Y (m) Inpx( Xk) 一 y, In Pk(s) — é«(w)] < 0, w € A(s). (5.4.28) 
E k=1 


no k=l 


在 (5.4.28) p s = 1, 得 


ġew) = liminf(1/n)palw) > 0, wc A(1). (5.4.29) 
由 此 有 
é(w) > 0, we A(1), (5.4.30) 
lim sup(1/n) [$ Inps(X4) Ingn(Xi ,Xo)] £0, e € AQ). — ($431) 
n= p 


H (5.4.28), (5.4.11) R EER BJ PE pt 


limsupfan — b,) < d—»limsup(a4 — Cn) < limsup(b, — c4) + d, 
noe nro n^? 


并 利用 不 等 式 1- <he se- 1(z >0), # 


lim sup(1/n)(ln s) Yr Inpa( X4) — H(X,)] 
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< linsup(1/n) 》 fin P(s) — (ins) H(Xx)] + olw) 
n-oc k=l 


< limsup(1/n) 3 [Pe(s) — 1 — (In s)H(X4)] + p(w) 
n=O k=l 


= lim sup(1/n) 5 Els- InP& X8) — 1— (In s)(— In prl Xr) 


k=1 
*ó(w), « € A(s). (5.4.32) 
由 不 等 式 0 < ex — 1 — z < (1/2)z2el=l 有 


0 <s“ —1— zlns < (1/2)(z In s)2el=in zl, (5.4.33) 


由 (5.4.32) 和 (5.1.33), 有 


lim sup(1/nY(In s) Vi- In ps (X4) - H(X) 
1-00 kal 


< (1/2)(In s? lim sup(1 /n) Y ln prl Xp) e lin ln pO plu), w € A(s).(5.4.34) 
n-u k=l 

A BS g(z) = t#z2(t > 1) Æ z = —2/ lnt AREAS EE DECR] [Ñco,0) 上 的 最 大 值 

g(-2/1Int) = 4e ?/(Int?, 函数 glr) = t*z?(0 < t < 1) YE z = —2/ Int 处 达到 它 在 

KE [0, o0) 上 的 最 大 值 g(—2/ mt) = 4e? /IntY*. MUR 


^ . 4e 2 1 
sup((rs)?^ ^4? [ln p, (i)? k > 1) < lar Ins? r < a<], (5.4.35) 
SImpe 人 1/ A 4e^? 
sup(( 7) inpli) k > 11 < mr 1 < 8 < r. (5.4.36) 


E (5434) A - < s < 1, t (54.35) P$ (54.15), 有 


{ln s) lim inf(1/n) Si- np&OG) — HOG)] (5.4.37) 


k=l 


< (1/208)? im sup(1/2) $ Y pelln pl + ofu) 


k=1 i 


= (1/2)(In s? limsup(1/n) J 1 pur In peli) (payn Ph fin pe (2)? + ó(:) 
noo k=l i 
< 2e7?(In s)? M (r) 


< artina --é(w), w € A(a). 
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注意 (5.4.14), (5.4.36) 与 (5.4.19), 由 (5.4.37), 有 


liminf(1/n) $ [— n pr( Xn) — H(X)] 
点 一 工 


> 2e2M(r)ns | olw) 
7 (Inr Ins)? Ins 


= g(s, lw), - <s <1, e € A(s)nDnA(). (5.4.38) 


设 Q. 是 区 间 (>,1) 中 所 有 有 理 数 的 集 ， 令 A. = Neg. AG). 则 P(A) = 1, 且 由 
(5.4.38), 有 . 
liminf(1/n) Y [一 Inpx(Xe) — H(X,)] (5.4.39) 
k=1 


> gis, ó[o)), w € A, ADDA(1), Vs € Q. 


因为 g(s,z) 关于 s 连续 ， 故 对 每 个 w € ANDANA) (注意 0 < giw) < oo), 存在 
Sa (uw) € Qun = 1,2,- 1 使 得 


Jim g(ss(u). Bw)) = a(@(o)). (5.4.40) 
由 (5.4.39), (5.4.40), 5 (5.4.22), 有 


liminf(1/n) $ "[-Inpi(X4) ~ H(X4)] > -Alé wE ANDAA). — (5.4.41) 


k=1 


Bj P(A.nA(1)) = 1, 由 (5.4.41) 即 得 (5.4.16). 
在 (5.4.84) FẸ 1 < s < r, H (5.4.36) 与 (5.4.15), 有 


limsup(1/n) S [- np (Xk) — H(X,)| 
noo kc 
< (1/2Y(In s) lim sup(1/n) Y Y (ln p.) E + eto) 
ne k—1 z n 


8 


= (1/2)(In s) lim sup(1/n) > 2 nr In pO In P. [In p, Ci]? 4 $02) 
2e ?(Ins) M(r) olw) 
š (Inr — In s? T ns 


= p(s.é(u)),u € A(s)RDnAQ). (5.4.42) 
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X Q 是 区 间 (1,7) 中 所 有 有 理 数 的 集 ， 令 4* = Neg Als). WM P(A*) = 1, 
Hth (5.4.42), 有 
lim sup( (1/4) Y`- In pa( Xx) — H(X)] 
k=l 
< g(s. d(w)), w € A" nDnA(1), Vs € Q*. (5.4.43) 


根据 g(s,z) 关于 s 的 连续 性 易 知 ， 对 每 个 ww € A"nDnA(), 存在 àn) EQ’, n= 
1,2,-… , 使 得 
Jim g(A, (o), p(w)) = B(d(u)). (5.4.44) 


由 (5.4.43) 与 (5.4.44), 有 


lim sup( 1/2) S|- Inp(X«) — H(X&)| < BOG), w € A'DDQA(1). — (5.4.45) 
k-1 
因为 P(A'(]A()) = 1, 由 (5.4.45) 即 得 (5.4.17). 
现在 我 们 来 证 明 (5.4.20). 由 (5.4.18) 5 (5.4.19) 易 知 ， 当 z > 0 时 有 


2e2M(r) +1 


0 < f(r) < glet" 1/0). zp) =Í ur 


]V=z( + vz), (5.4.46) 


Hf 
2e? M(r)Ins 
In. (Inr — In 3)? 


8(0) = =, (5.4.47) 


Bp (5.4.20) 成 立定 理 证 毕 . 
定理 5.4.2( 刘 文 ， 陈 者. Hz BER 2000) 设 不 (w) 由 (5.4.2) 定义 ,在 定理 5.4.1 
的 条 件 下 有 


limint[f,(o) ~ Q/n)H (Gs. ,X,)| > -Bu — d) + E, as. FD, (54.48) 
lim a supl fa (o - (1/n) H(X1,--- Xa) € 8(0(0)) +H” as. T D, (5.4.49) 
此 处 H(Xi,: "t An) = E[- In gn{ X1,- t 了 为 (Xi, Xa) I5 485, H 


H, = liminf(1 [n HOG) - Hs: Xn) (5.4.50) 
k=1 


= lim inf(1/n) D(ga] |a ), 


H* = limsup(1/0)[ > H(Xx) ~ H(X,.:-- Xa)] (3.4.51) 
k-l 


第 五 章 IE rph Ht E | 217 - 
= lim sup(1/)D(gs |a). 
证 h (5.4.2), (5.4.11), (5.4.41) 与 (5.4.50), 有 
lim inf[fa (o) — (1/n) HO, --- X4] (5.4.52) 


> liminf(1/n) la([T sx 00)/9s (Xs X5)]--imint(1/5) 》 [-1n p (X,)— H (G.] 


k=1 k=1 
*liminf(1/n)[5 ` H(Xi) 一 H(X, "tt »X«)] 


k=1 
> —é(w) — Blw) + E,, w € A.nDnA(1). 


由 (5.4.52) BIH8 (5.4.48). 由 (5.4.2), (5.4.31), (5.4.45) 5j (5.4.51), 有 


lim eup[fr(u») — (1nMH(Xi, Xa) (5.4.53) 
< lim sup(1/n)n[ | px (X4)/90.- --, X4)]- Him sup(1/n) Y ing (X4) HG 
n— o0 kil n—oc k=1 
+ limsup(1/n)[ ` H(Xy) - H(X1, ,Xn)] 
位 一 2 k—1 


€ B(d(w)) + H*, wc A*nDnA(1). 
由 (5.4.53) 即 得 (5.4.49). 定理 证 毕 . 
85.4.3 若干 推论 


Hit 5.4.1 fuf S = {1,2,… N}, 则 


limint(1/n) DN- Inpk(X&) — H(X4)| > —b(d(u)) as. F D, (5.4.54) 
k-1 
lim sup(1/n) Y [~ Inpe{ Xr) — H(X4)] € &($(w)). as. + D, (5.4.55) 
ToO k=1 


limint(f. o) — (m) HO, ^: 3X5)] 2 HA- (e) + B, as. FD, (5486) 
lim sup[fn{w) — (1/nMI(Xi,---,X4)] € HG) + H* as. D, (5.4.57) 


其 中 
b(z) =ànfíh(s,z),1 < s < e], z 20, (5.4.58) 
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h(a,z) = Timo + z 2 220. (5.4.59) 
而 且 有 
0 = b(0) < b(z) = (2e2N + D/z(1- V). (5.4.60) 
证 在 定理 5.4.1 与 定理 5.4.2 rh r = e, 有 
P, (e) = Elpy(X4) 1] = N = M(e). (5.4.61) 


根据 (5.4.61), 推论 5.4.1 可 直接 由 上 述 定理 得 到 . 
推论 5.4.2 如果 (X. n > 1} 相互 独立 ， 且 存在 7 > 1 使 (5.4.15) 成 立 ， 则 


Jim [fn(w) — (1/n) HX ,Xn)] = 0 a.s.. l (5.4.62) 
证 在 此 情况 下 ， H. = H* = 0, ó(0) = 0, B D = Q. 注意 到 8(0) = 0, 
(5.4.62) 可 直接 由 (5.4.48) 与 (5.4.49) 得 到 . 
注 5.4.3 如 果 S = (1,2,... , NY, 则 根据 (5.4.61), 当 {Xn n21} 相互 独立 
时 ， (5.4.02) 恒 成 立 。 这 就 是 具有 有 限 字母 集 的 无 记忆 信 源 的 Shannon H. 
引 理 5.4.2 WẸ S — (,2,... , N), W ((1/m)ós(w),n21) 一 致 可 积 . 
证 令 G(t) = e, 由 算术 - 几何 平均 不 等 式 有 


(-Q/n) Y nai) = - am E TEA 


TL 1 , 
< E[(1/n) > zl = N. (5.4.63) 


因为 lim et /t = oo, 由 (5.4.63) 知 (1/1) Dko Inpa(X,),n > 1) 一 臻 可 积 (参见 
Shiryayev1984, p.188). Dj FEAR REA] {一 (1/n) In g, (X1,- ,X4),n 2 1) 也 是 一 
致 可 积 的 [参见 Gray1990, p.35), && (( uu n > 1} 一 致 可 积 . 

推论 5.4.3 W S= (1,2,... N}, $lw) 与 Bx(w) 分 别 由 (5.4.11) 与 (5.4.29) 
定义 ， 则 


lim inf[fn(w) — (1/n)H UA, Xa) 
> —(2e7?N + D Vw) + Vow) — elw) + E), as. + D, (5.4.64) 
lim sup[ fa (w) = (1/n)H (Xi, Xn) < (2e2N + yew + vlw) + Eo 


a.s. 于 D. (5.4.65) 
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证 因为 {L/min > 1) 一 致 可 积 ， 故 由 Fatou 5|38, H (5.4.50) 与 
(5.4.31), 有 
H, = lim inf E%, > Ebs, (5.4.66) 


H* = limsup Ej, < E. (5.4.67) 
n= OQ 


显然 ， 由 (5.4.56), (5.4.60) 与 (5.4.66) 可 得 (5.4.64), 由 (5.4.57), (5.4.60) 与 (5.4.67). 
可 得 (5.4.65). 
推论 5.4.4 WWE S= 12……N}, 且 
$(w) 0 as., (5.4.68) 
则 
Jim [fa(w) - (1/n)H(X1,--- Xn) 2 0 as. (5.4.69) 
证 在 此 情况 下 ， PID} = 1,Eà = 0. 又 由 (5.4.29) 知 9.(w) 和 0as… tii 
(5.4.64) 与 《5.4.65} 即 得 (5.4.67). 
推论 5.4.5 在 定理 5.4.2 的 条 件 下 ， 有 


lim inf[ f, (v) — (HX Xa)] > -AW — d) + ha as. + D, (54.70) 


limsup[fa(w) — (1A (Xi Xo) S BO) T" as P D, — (471) 


其 中 
h. = liminf[HQG) 一 H(X,|X.,--- Xni) (5.4.72) 
h= lim sup[H (X4) = H(X,.|X:, ttt ,Xn-1)]. (5.4.73) 
n= 


如 果 5 = {1,2,… N} 则 按 推论 5.4.1 的 记号 ， 有 
liminf[f,() — (1/1) HG, ,X,)] > —5(9(02)) ~ Bw) + hç as. 于 D, (84.74) 
lim sup|falw) ~ (1/n) (Xi... Xn)] < BAw) +A as T D. (6.48) 


证 dde ERN (UL Cover 与 Thomas 1991, p.21) 并 利用 关于 Cesaro 
下 极限 的 不 等 式 ， 有 


H, = liminf(1/n) Y prac) ~ H(X4|X1, -- , X, — 1)] 


k=2 


> lm inf[H (X4) — H(X4|Xi, n X, 1) = ha. (5.4.76) 
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(5.4.70) 可 直接 由 (5.4.48) 与 (5.4.76) 得 出 ， 类 似 可 证 (5.4.71), (5.4.74) 与 (5.4.75) 
注 5.4.4 设 (X,..n > 1) 是 一 非 齐 次 马 氏 链 ， 其 转移 概率 为 


p, (š, 7) = P(X = j|X n1 = i), n > 2, ij € 5, 
则 


H(X,)— H(X,.|Xi,-:: Xr) = H(X,) — H(X Xr) 
= (Xy; Xii). 


此 处 (Xr; Xy 1) 是 X, 与 Xr- 的 交互 信息 ， 故 有 
h, = liminf T(Xn; Xn-1), (5.4.17) 


h* = limsup I(X4; Xn_1). (5.4.78) 
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本 章 用 分 析 方法 研究 赌博 系统 的 强 极 限定 理 , 我 们 首先 引进 公平 赌博 的 概念 ， 
将 Bernoulli 序列 财 博 策略 的 一 个 强 极限 定理 推广 到 相依 变量 的 情况 . 证 明 中 提出 
了 将 测度 的 网 微分 法 各 条 件 矩 母 画 数 的 工具 应 用 到 赌博 系统 强 极 限定 理 的 研究 的 
一 种 途径 ， 进 而 研究 可 列 非 齐 次 马 氏 链 赌博 系统 的 强 极限 定理 . 最 后 分 别 讨论 二 
值 和 可 列 值 赌博 系统 的 强 偏差 定理 . 


96.1 二 值 赌博 系统 的 强 极限 定理 


本 节 的 县 的 是 利用 似 然 比 的 概念 和 a.s. 收 伍 的 方法 ， 将 Bernoulli 序列 的 赌博 
系统 推广 到 任意 二 元 随机 疗 列 的 情况 . 

考虑 一 个 Bernoulli 试验 ， 并 假定 在 每 次 试验 中 赌 徒 有 选择 赂 或 不 赌 的 自由 . 
赌博 系统 由 固定 的 选择 规则 组 成 ， 根 据 这 些 规 则 赌 徒 决定 哪些 次 试验 参 峙 ， 关 于 
赌博 系统 的 一 个 定理 断言 ， 在 任何 系统 下 Bernoulli 试验 有 不 变 的 成 功 概 率 ， 这 一 
定理 是 von Miss 发 现 的 (参见 Billingsley 1986, p.88—94; Feller 1957, p.198—200), 
Kolmogorov(1982) 也 对 这 一 问题 作 了 深入 研究 .本 节 的 目的 就 是 用 似 然 比 概念 来 
研究 任意 二 元 序列 的 这 一 性 质 . 

设 {Xn,n > 1} 是 在 5 = {0,1} 中 取 值 的 随机 变量 序列 ， 其 联合 分 布 为 


P(Xi = fe ,Xn = Zn} = pns ,Tn) > 0, 


r;€S,.ciznm-L2,-. (6.1.1) 
设 falzi 22,77 Znin = 1,2,...) 是 定义 在 g" ERF {0,1} 的 序列 ， 令 
Yaoi = fa( Xi, X2,- Xn) Yı =1. (6.1.2) 


fu(zi, ,zn) 称 为 选择 函数 ， [Yun > 1) 称 为 赌博 系统 或 随机 选择 系统 ， 根 据 
{Yn} 选择 {Xn} 的 一 个 子 列 ， 取 (X4) 与 否 按 (Y.) 的 值 是 1 或 0 而 定 ， 令 决定 
(X) 取 合 的 (n) 恒 等 于 1, 于 是 得 到 的 {Xn} 的 子 序列 ， 其 各 项 的 选择 依赖 于 过 
去 的 结果 而 定 ， 选择 了 这 种 子 序列 之 后 ， 到 m 时 刻 为 止 ，1 出 现 的 相对 频率 就 为 
[Xia YX: b Yi 我 们 的 问题 是 要 考虑 此 相对 频率 的 极限 性 质 ， 显 然 ， 在 考虑 
此 问题 时 ， 应 附加 条 件 n 

Y Y= eo as. (6.1.3) 


i=l 
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此 条 件 意 味 着 无 穷 次 试验 中 选取 的 次 数 也 是 无 穷 的 .由 (6.1.2) 定义 且 满 足 (6.1.3) 
的 序列 称 为 选择 系统 或 赂 博 系 统 . 
BR, {Xa} 独立 ， 当 昌 仅 当 存 在 pi € (0,1),i = 1,2,… , BOXER n 2148 


p(21,22,: En) = [pF pi), (6.1.4) 
i=1 
在 此 条 件 下 有 
P(X; = zi = p(l- p) 1<i<n. (6.1.5) 


为 表明 序列 {Xn} 和 具有 分 布 (6.1.4) 的 独立 随机 变量 序列 之 间 的 偏差 ， 令 
rn(w) = deo -mc /p( X1, Xa, -- , Xn). (6.1.6) 
i=1 


falw) 称 为 {X1 < i € n) 相对 于 具有 分 布 (6.1.4) HIOBUXAB ES UR t. ER, 
X [Xni <i<mn) yhu B PIX, = 1) = pi, 1 < ¿ < n, W| raw) E= 1. 

定理 6,.1.1( 刘 文 、 汪 忠志 1995) 设 [X4,,5 > 1] 是 具有 分 布 (6.1.1) 的 随机 变 
量 序列 ， r,(a) 由 (6.1.6) 定义 ， {Ynn 2 1) H (6.1.2) 定义 ， 令 


p= fo : liminf [en (w) = Yi > LA = 中 (6.1.7) 

则 T 7 
Jim (uy) Y (X, pF 20 as. D. (6.1.8) 

ki 1 一 1 i=l 


E 本 节 中 我 们 以 ([0,1), F, P) 为 所 考虑 的 概率 空间 ， 其 中 Z X [0,1) 区 间 
的 Lebesgue 可 测 集 ， P 为 Lebesgue 测度 ， 首先 给 出 具有 分 布 (6.1.1) 的 随机 变量 
在 此 概率 空间 的 一 种 实现 ， 将 区 间 [0,1) 分 成 两 个 左 闭 右 开 区 间 Do = [0,p(0)) 与 
Di = [p(0),1), 并 称 它们 为 1 阶 区 间 . E 2* 4" n pr DEE (Da m Es 1 < 
i<n) 已 经 定义 ， 根 据 比 网 pler cm. 0) :p(m1 En 1) 将 区 间 Daen 分 成 
两 个 堪 开 右 闭 区 间 Dono 与 Das, 这 样 就 得 到 nn 十 1 Br D 区 间 ， 由 归纳 法 
知 ， 对 任意 n>1 有 


P(D.,...=,) = pft Ep). (6.1.9) 
HAE n > 1, 定义 随机 变量 Xn : [0,1) + S WF: 
Xalo) = za, 34 wE Daa (6.1.10) 


(Xlw) 简 记 为 XK。). H (6.1.9) 5 (6.1.10), 得 


PIX = z1, Xn = za) = P(D.,...z,) = ptis Za). 
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因此 {Xn n > 1) 具有 分 布 {6.1.1}. 由 (6.1.6) 与 (6.1.10), 得 


ra (2) = nt (1— p)! * [iens ac - Xn) w € Dran (6.1.11) 
3 一 1 
以 下 我 们 就 由 {za n > 1) 的 上 述 实现 来 证 明定 理 , 首先 构造 一 个 辖 助 孜 数 . 
W A > 0 为 一 给 定 的 实数 ， 按 如 下 方式 定义 随机 变量 Ann > y 3 Y, = 1 PF, 


An H FRM RE: 
An(l — Pn) 


= X: 6.1.12 
nU- ag~ ( ) 
"UP Y, = 0B, An = pn, HB 
Àps _ 
OM = LHA- Ipar’ "n cl (6.1.13) 
Prs 当 Y, = 0. 


显然 ， 在 每 一 个 n 一 1 阶 DEE (0,1) MOS SERE D 区 间 ) 上 An 为 常数 . 

将 区 间 [0, 1) 分 成 两 个 诺 闭 右 开 区 间 Ao = [0,1721 A = [17 3 D, 并 称 它 
们 为 1 阶 生 区间. i 2^ 4 = t A PCI] {Azn zi 一 0 或 1,1 < ¿ < n) 已 经 定义 ， 
则 按 比 例 (1 Ansi : Anio € Derren) 分 割 左 闭 右 开 区 间 A-…=。 即 得 
n+1 Br À RE Acro F Aroan (AAGA) 也 就 是 说 ， 若 falti ga) = 1, 


_ Apn+1 . Àpai A 
mera (1- paei) LEE 分 别 As <。 AMNEM 


区 间 År orni 与 A nl ; 车 fume , Tn) = 0, Jt AU (1 一 Pa+1) i Pntl 分 
8 A。 =。 成 两 个 左 闭 右 开 区 间 Areno 与 Assis 由 归纳 法 有 


P(A en) = [5:0 - 39' 79. (6.1.14) 
i=l 


根据 A 区 间 Aroon 与 区 间 Daan 的 一 一 对 应 ， 可 在 (0,1) 上 定义 一 个 不 减 
函数 Gs. 使 


AF, Ea Aos 
= P(As ss.) = GA S) — GA(DZ...... ), (6.1.15) 


其 中 At... SAL, Ë Dz... 与 DZ... 分 别 表示 Aer 与 Duos, 的 左 
ts. SL, $ 


GAD oen) = Alu GXDz a) = Dz s, (6.1.16) 


mi" Zn 


Galw) = sup(Ga(t), t< J, t€ Q, o € [0,1) — Q), (6.1.17) 
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其 中 Q@ 为 各 阶 Dae, 区 间 的 端点 的 集合 . 则 G, 是 定义 在 [0,1) AR Æ (6.1.15) 
f d 8 TC. 
4 v € [0,1), B. X.(w) = ex, NW Dere, EUA w BJ) n TDI. + 


P(Assn,) _ ODi an) = XD a 


tS u) = 6.1.18 
O) = Daa Dios. Daa (61.18) 
di (6.114) 与 (6.1.11), 得 
^ AM yie 
t (Ao) = We Ta palu), w € D, n, (6.1.19) 


Bt (6.1.12), (6.1.13), (6.1.19) 和 (6.1.10), 得 


-I 653 n6) Gu ve 
Mns = I 


= MAD 


Ix raw), w € [0,1), (6.1.20) 


其 中 Ia 和 Ily,-o 分 别 表 示 满 足 Yi=1 和 Yi; = 0 项 的 乘积 . 
设 AO) 是 G, 的 可 微 点 的 集合 ， 由 单调 函数 导数 存在 定理 ， 有 


Jim 140,9) = 有限 数 ，w € AQ). (6.1.21) 
由 (6.1.21) 与 (6.1.7), 得 
lim: sup[t (A, w) >a <1, ve AXAD. (6.1.22) 
tH (6.1.20), (6.1.22) 和 (6.1.7), 得 


n a n 1 i/ $a Fi 
i [E Y. X;]/ Y Y ——— < 
lim. sup À (lla max < 1, G€ A(X)n D. 


对 上 式 两 边 取 对 数 ， 得 


lim sup (ux) { YOGYA- XC +A- Dn] «0 


i=1 i=1 
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w € A(A)n D. (6.1.23) 
^ 1 < À < 2. 将 (6.1.23) 两 边 同 除 以 In A, 得 
lim sup (v3) (zx 一 Y mita Den) «0 
n i=1 i=l i=1 
w€ ANND. (6.1.24) 
由 上 极限 性 质 
lim sup(a, — bn) < 0 = lim sup(an — cs) < lim sup(bn — en) 
和 不 等 式 w — w?/2 < mO + u) € w,hw| < 1, 由 (6.1.24), 得 
lim sup (v Y, x) I y (x, -»x| 
nor» i=l i-1 
< lim sup (u> x) f Y milt D. Dp 一 niy.) 
ici 


il 


Sos (Sv. p noa yp] 


i=l 


= lim isup 3 


SEn) Drs i w € AND. (6.1.25) 


i=1 
E 1 < Àk < 2(k = 1,2,---) f Ay — 1 (4 k 2 oo), 记 A* = ng LAUS), 则 由 
(6.125) XE k » 14 


lim sup (vy x) I Y `(x; -pw) < At x. wE AAND. (6136) 


i=1 


HT M > 1, 由 (6.1.26), 得 


limsup (uyw) ye: -pF} «0, =€ A" n D. (6.1.27) 
TL — C i=l 


4 一 1 
Hz O < À < 1, HF (6.1.23) 两 边 同 除 以 In 入, 得 
impr (1/3: {x - Y LHA nmn y o, 
ici i1 i=1 


w € AGA) ND. (6.1.28) 
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由 下 极限 性 质 


lim inf(a;, — b.) > 0 = lim inf (an — cn) > lim inf(b, — cx.) 
因此 由 (6.1.28), 得 


i 二 1 


lim inf (ux) [2 (X; ~ -»x] 
> lim inf (uv) Í Y [1 + Q — Dp _ 
气 


< mA - Pi.) 
> liminf (y| pes i -pa 
4 一 1 ¿=1 n 
= tmint [TS -1 (v3) Yoox 
1 
A-1 
Ey Tih ee40)n D. 


HO «nr, < lk 1,2, 


(6.1.29) 
HR k > 1, 有 


) f n — 1 (34 Ë — oo). i A, = Og , A(zk), 则 由 (6.1.9) 


eir (uy v E-m} > 


i=1 
由 (7& — 1)/In my — 1, 得 


liminf (v3): -»Mm20 ucAnD 


T, —1 


一 i G € A. D. 
In Tk 


(6.1.30) 

i=l 

4 A= A* n A,, H (6.1.27) 与 (6.1.30), 得 

liminf (wE Ea- — pi) Yı} =o, wEAND. (6.1.31) 
i=1 i=l 
定理 得 证 . 
推论 6.1.1 ił 
D* = fo: lim infir, (s w) > 路 (6.1.32) 

则 


im (1/n)( Y (X, — po) =0 as 于 也" (6.1.33) 
i=l 
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证 对 所 有 的 n>1, 在 定理 中 令 falti ,Tn) = FE Ys = 1) HER 


结论 ， 
推论 6.1.2 如 果 {fX n > 1) SR B. P(X: = 1) = pi, 则 
Jim (vy) | Y - 中 到 =0 as. (6.1.34) 
£—1 i=1 
ES P, = p(¿ = 1,2,.….) 时 ， 
im (yw) Y XYi-p as. (6.1.35) 
4 一 t=1 


证 在 此 情况 rm(w) = 1, k (6.1.3) 与 (6.1.10) #8 P(D) — 1. 
it 6.1.1 (6.1.35) 是 赌博 系统 的 一 个 定理 ， 它 断言 如 果 {Xn n.> 1) 是 
Bernoulli 序列 ， 则 不 存在 对 赌 徒 有 利 的 赌博 系统 . 


66.2 NN 值 赌博 系统 的 强 极限 定理 


考虑 一 个 Bernoulli 试验 序列 ， 并 假定 在 每 次 试验 中 ， 赌 徒 都 有 选择 参 赌 与 不 
赌 的 自由 .所谓 赚 博 策略 ， 就 是 赌 徒 事先 制订 一 套 规 则 ， 来 决定 哪 一 次 参 财 ， 在 
$ k 欢 试验 上 ， 他 的 策略 可 以 依赖 于 以 前 大 一 工 次 试验 的 结果 ， 但 不 可 以 依赖 于 
E kkl, k+2, -o 次 试验 的 结果 ， 关于 赌博 策略 的 一 个 定理 断言 ， 无 论 采 取 什 
么 策略 ， 赌 徒 参 赌 的 娜 些 次 试验 组 成 一 个 Bernoull 序列 ， 其 成 功 概 宰 不 变 . 因此 
没有 一 个 策略 可 以 改变 赌 徒 的 运气 ， 我们 在 上 节 中 进一步 讨论 了 这 一 问题 . 本 节 
的 目的 是 要 将 上 述 讨论 推广 到 取 有 限 个 值 的 相依 随机 变量 序列 的 情况 ， 并 通过 人 对 
许 选 择 函 数 在 一 个 区 间 中 取 值 ， 推 广 了 随机 选择 的 概念 . 证 明 中 提出 了 将 测度 网 
微分 法 和 条 件 母 函 数 的 工具 应 用 于 赌博 系统 强 极限 定理 的 研究 的 一 种 途径 ， 

设 3 = {1,2 N}, {Xn,n 之 1} 是 一 列 定义 在 概率 空间 (Q,7, P) 上 在 S 中 
取 值 的 尘 机 变量 ， 其 联合 分 布 为 

P(X = t1,- X, = En) = pr Tn)>0, z€ S, 1 < i<n. (6.2.1) 
为 了 推广 随机 选择 的 概念 ， 首 先 给 出 一 组 定义 在 Sòn = 1,2,...) E BJ 3E43C É S 
数 fmm) 令 

Yi = y (AEX), (6.2.2) 
Yati = fa(Xi, X.) n> 1. (6.2.3) 


fa(zi za) 称 为 选择 函数 ， (Y. n > 2) 称 为 赌博 系统 或 随机 选择 系统 .又 设 
ód R S E Kronecker ó HW. T: 


p(z. |Z, Urt ,Tn_1} 一 P(X, = Zal X1 mmy Än- = Ta-1), 


: 228 - 38 fj 3E se BB E; Sy C71 tk 
z; € S, 1 <; < n,n > 2, 
D = (2: Y, = oo). (6.2.4) 
n=1 


为 解释 随机 选择 的 实际 意义 ,考虑 如 下 的 赌博 模型 . 设 {Xn,n > 2) 是 具有 分 
布 (6.2.1) 的 一 列 随 机 变量 ，9 是 定义 在 S 上 的 一 个 非 负 实 舍 沙 数 ， 将 X, 解释 为 
En 次 试验 的 结果 设 pa = Y.g(X,) 表示 周 徒 在 第 nn 次 试验 的 赢利 ， 其 中 Yn = 
示 赂 情 的 大 小 ， g(X«) 根据 第 ”次 试验 的 结果 由 赌博 规则 确定 { 亦 即 o AREE 
的 赢利 或 庄家 的 支付 规则 ). 赂 徒 的 策略 则 是 根据 前 m 一 1 次 试验 的 结果 来 决定 第 
n 次 人 参 赌 的 大 小 Yn WEEER n 次 试验 所 付 的 入 场 费 为 bs. 假定 b, 为 任意 常 
A, n>m, ba CP Xi Xni 于 是 Epai Ykgl Xr) 与 ES be 分 别 为 
前 n 次 试验 中 赌 徙 的 累积 赢利 和 累积 入 场 费 ， 而 Yu. [Yeg( Xk) 一 Bk] HI ROBUR 
BUR. 受 赌博 公平 性 的 古典 定义 的 启发 (参见 Feller 1957, p.233 一 236), 引进 如 下 的 
定义 ， 

定义 6.2.1 "nM JL Er weD,?$n-— oo BF, BI n KRE PEER 
积 净 赢利 的 大 小 具有 比 27, Yi 较 小 的 阶 ， 即 


lim Yat X,) — bx] —0 as. + D, (6.2.5) 


n— Y X 
则 称 赌 情 是 公平 的 . 
定理 6.2.1093: 2002) E {Xn,n 2 1} {Ynn 2 1} 5 D 均 邵 前 定义 ， 如果 
选择 函数 f. (n > 1) 均 在 某 有 限 区 间 [0,5] 中 取 值 ， 则 有 
Jim. A Y. 3708) - EIX |X Xii] =0 as. P D. (6.2.6) 
注 6.2.1 上 述 定理 表明 , 在 定理 的 假设 下 , 如 取 入 场 费 bx = YLElg( Xi), 
Xk-1], 则 赌博 是 公平 的 . 
证 令 
Driza = ie : Xk = Tk, l < k < ny, Tk € S, 
则 有 
P(D,,) = p(x1), (6.2.7) 
P(Ds, s.) = pz za) = piri) | [pa(z8|ai, m) n>2. (6.2.8) 
k-2 


Ds, WA n 阶 基本 柱 集 ， 其 全 体 记 为 No s > 0. 2 


Pils, T) 1) = Els 9099 = 31 Xp = zh i] 
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N 
- s` gfs-ióoie mcis Un poii... my.) (k2 2). (6.2.9) 


[41-31 
BPk(s.zi, cma) 称 为 在 条 件 Xi = 1，… Kr = mk-1i F Ysg( Xx) MAH 
X. 令 


gites acide) eC ai, ttt y Eki) 


Phk(s 71 有 = Észy na) (6.2.10) 
则 由 (6.2.9), 有 
Y nnn 2 Ey) = 1. (6.2.11) 
令 NOUS o0, 及 各 阶 柱 集 的 集合 族 ， 在 N 上 定义 集 函 数 u, 如下， 
n (0) =0, =l, (Da) = p(zi), (6.2.12) 
Bs(Da, n.) = Lea D, n, ijpn(s21 oma) 
= pí(zi) Ina. SK), n22. (6.2.13) 


k=2 
由 (6.2.11)—(6.2.13) 知 u, EN 上 的 测度 ， 由 于 N 是 一 半 代 数 ， 故 上 可 惟一 开 
# 8) o (N)c Z E. DCR, In 表示 DD 的 示 性 函数 , $ 


Tals w} = Y> us(D), 


Bf 
Bs (Dx (wo). Xn (u)) 


P(Dx,t).Xx.(u))- 
易 知 {Na,n 21) 是 一 个 网 ， 由 测度 的 网 微分 法 ( 见 Hewitt 5j Stromberg 1994, 
p.373) 知 ， 存 在 A(s) € T, P(A(s)) = 1, 使 得 


Jim Tals w) = HREL wc A(s). (6.2.15) 


Th (8,w) = (6.2.14) 


由 (6.2.15) 与 (6.2.4), 有 


lim sup InTn(s,w) <0, w E A(s) n D. (6.2.16) 


noo 了 Ka Yk 
由 (6.2.8),(6.2.10),(6.2.13) 5j (6.2.14), 有 
sYk9( Xk) 


ll G3 Ep UY (6.2.17) 


Tals, w) = 
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由 (6.2.16) 与 (6.2.17), 有 


lim sup 23 Ypg X«)ins -Fna (5,31, Ak] S 0, o € A(s) n D. 
no0 2 k=2 Y) 二 
= (6.2.18) 
& M=max{g(j}hj € S). 利用 上 极限 的 性 质 


lim suplan — bn) € 0 => limsup(a; — cn} < limsup(b, 一 cn) 


及 不 等 式 Inr < z — 1 (z > —1) 与 


0<s2-—zrlns-—-1< (etn sees $20, Yz, 


HA O< Y, < h, H (6.2218), 有 


lim sup x == y DO s — Elg( Xx) X1, , Xr] ln s} 
< limsup Y fis Ps, Xn. a Xea) - YEE[gUG)X Im 村 


p 
noc x k—2 


N 
< limsup eu y y- RS Ye. Xi Xa) -1- M Yeal! Xi: , Kk) lna] 


j-l 


= lim sup ———— 一 Y Y (GI Xi: + Xy-1)[s ^96 一 Yzg(j)ln s — 1] 
noc 2 k=2 Ya k=2 j=1 


1 2 JJe” (3) In s! 
< 5 (n3) lim sup D sn Dl je” 


k=2 j=1 
< aN M’(maj Ma, we AND. (6.2.19) 


it s > 1. H (6.2.19), 有 


lim sup ——— YUY, (63) — Elg( Xx) X1,-:: Xii 
n y -2 Yk &Z2 
< 30N M2sbM nas, we A(8) n D. (6.2.20) 


Esk >l, 5-12, , B sz > 1( 4 k — co). JE4 A* = (Y>, AG). H (6.2.20), 


limsup—x—— 5 Ya[g(X,) - Flg(X,)1X i... Xia] S 0, < € A*(s) n D. 


n0 y Yri 
k=? k k=2 


(6.2.21) 
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设 0<s< 1. 由 (6.2.19), 有 


DY {9(X) -BC 二 
k k=2 


lim inf 
nox 
k=2 


> SbN M?s -0M Ins, w€ A(s) D. (6.2.22) 


B Oct < 1. k= 2, , E tk —+ 14 k — co 时 ), 并 令 A. = (3n, Alte) 由 
(6.2.22), # 


lim inf 
TU - > 


xr - EUX) Xn Xi > 0, we A ()0 D. 
k k—2 
"= (6.2.23) 


^ À = AD A'. H (6.2.21) 5j (6.2.23), 有 


MATESE ElalX lX Xk} =0, wE AND. (6.2.24) 


Hem Yi 
k=2 k—=2 


由 于 P(A) = 1, 故 由 (6.2.24) 知 (6.2.6) 成 立 . 证 毕 . 
推论 6.2.1 设 ie5 固定 ， 则 有 


Sl (X,) - p(ilXi,--,Xui1)) =0 as. T D. — (6.2.25) 
m, me ; Y, Pai 
证 2 g(j)= ()j € S. 注意 到 
E|[ó,(X,:)X I... Xii] = p[Xi, Xi) k > 2, 
由 (6.2.6) 即 得 (6.2.25). 
在 这 个 推论 中 ， 如 果 第 上 次 试验 出 现 结果 i 则 赌 徒 的 赢利 为 Yt, 如 果 不 出 现 
i, 则 赌 徒 的 赢利 为 0. 


推论 6.2.2 设 {Xan >1) 为 具有 状态 空间 3 = {1,2,-'* N} 的 非 齐 次 马 氏 
链 ， 其 转移 矩阵 为 


P, = (p. (;,3)), Prii j) > 0, 1.3 € 5. n > 2, 


其 中 (ps = P(X, = j|X,-i = 3). WEBEBLIETE 853 9, MFEEM b 使 得 
0 < falti Ia) <b itn 21 成 立 ， HJ 


Jim. m Y — E[X4|Xu-i]) 2 0 as. + D, (6.2.26) 


. 232. dà 3 E 8 53 HAHAE 


且 对 任何 ie S, 


lim EB Y 2 Y Qa) — py(X41,1)]] 2 0 as. + D. (6.2.27) 
证 直接 由 (6.2.8) 与 (6.2.25) 可 得 . 
例 6.2.1 设 {Xn,n >21) 为 具有 状态 空间 5S = (1,2) 的 齐 次 马 氏 链 ， 其 转移 
概率 为 
P(X, = j|X4-1 = i) = pli, j) > 0. 
W b > 0 为 常数 ， pa > pa, 且 根 据 赌博 规则 ， 赌 徒 在 第 n 次 试验 的 赢利 为 


Yn (X4). 初 看 起 来 ， 如 下 策略 似乎 对 赌 徒 有 利 : 当 Xn_1 2H, $ Y, = b; 
X, i =1 时 ， 令 Y, = 0, BI 


_ 0, WE Zn—l = I, 
fni(zi;--- ;Tn_1) = { b WRR 
然而 ， 由 (6.2.27), 有 
1 7 
li 元 Ys|ór( Xy) — pu(Xy—1,1) = 0 a.s. F D. 
"m. y" à |ó, (Xk) — pe( Xp—1, 1)] as. 于 
ik k FA 368 3 AS i 3EBB GEB 8 24. 


86.3 可 列 值 赌博 系统 的 强 极 限定 理 


本 节 中 我 们 使 用 条 件 概率 将 Bernoulli 序列 赌博 系统 的 强 极 限定 理 推 广 到 任 瘟 
离散 随机 变量 的 情况 . 同时 ， 人 允许 选择 函数 在 区 间 上 取 值 ， 对 选择 函数 的 概念 进 
行 了 推广 ， 在 证 明 中 所 出 了 将 测度 的 网 微分 法 应 用 于 强 极限 定理 的 研究 的 途径 ， 

E S- (tt, -) 是 可 列 集 (有 限 或 可 数 ), {Xn,n > 1} 是 取 值 于 S 的 随机 变 
量 序 列 ， 其 联合 分 布 为 


P(X 一 81， ,Rn = za) = p(z ,Tn) > 0, 
r;€S 1<i<n, n=1,2,... (6.3.1) 


ATHE ARANES, SUITE GA I BB S^(n = 1,2, ) 的 实 值 函数 列 
fa(zi22,-- 24), 如 果 它 们 取 值 于 实数 集 A, 则 称 它 为 4- (HEEL $ 


Yr = y, (6.3.2) 
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You = fai Xo, Xa) n21, (6.3.3) 
其 中 y 是 任意 实数 ， 设 下 ( 力 是 S 上 的 Kronecker iñ 3. w 
P(z&lzi,5:-,24 01) = P(X = za|X1 = £1,- Kn = 04), 
z; € S, 1< í< n, n > 5, (6.3.4) 


为 了 解释 推广 了 的 选择 函 教 的 实际 意义 , 我 们 考虑 下 述 赌博 模型 。 (X..n > 1) 
是 具有 联合 分 布 (6.3.1) 的 随机 变量 序列 ， 9 是 定义 在 S 上 的 实 值 函数 .解释 X, 
为 第 n 次 试验 的 结果 ， 其 类 型 每 次 都 可 能 发 生 改变 ， 设 pn = Y.g(X,) ERE 
EER n 次 试验 的 赢利 ， 其 中 Y. 表示 赌博 的 大 小 ， 200) 由 赌博 规则 决定 ， 
(Yan > 1} 称 为 赌博 系统 或 选择 系统 ， 赌 徒 的 策略 是 根据 前 n — 1 次 试验 的 结果 
来 决定 Y. (n > 2). REEE n 次 试验 所 付 的 入 场 费 为 ba 同时 假设 当 半 22 BF b, 
依赖 于 X1,… Xn- b) 是 常数 ， 因 此 YO Yel XV) 表示 前 n 次 的 累积 赢利 ， 
Drob 是 累积 入 场 费 ， Yi. [Yrg(Xk) 一 天] 是 累积 净 赢 利 ， 与 662 中 一 样 ， 我 
们 称 赌 博 是 公平 的 ， 如 果 


1 T n 
H [Yro( Xx) — x] = 0 a.s. +Í :》 Y; = >). (6.3.5) 
S. Y. > kQL Ak k > k 

定理 6.3.10] X. E&F 2002) 设 {Xn,n > 1} 是 概率 空间 (0,1), F, P) 上 
具有 分 布 (6.3.1) 的 随机 变量 序列 ， Ys(n = 1,2,---) 由 (6.3.2) 和 (6.3.3) 定义 ， 
{onn > 1] Æ (0, D), F, P) 上 的 非 负 随机 变量 序列 ， t;€S,a2 0 是 一 常数 ， 令 


lim 
711 — > 


D = fu : lim on = æ}, (6.3.6) 
n= 


D(a,t;) 是 we D 上 且 满足 下 述 条 件 的 样本 点 集合 ， 


lim sup 二 y [oea n Z Xa) = M(w) < vo, (6.3.7) 


neo k-2 
jd 
dim. 二 Y Yalin (Xr) — PX Xii) =0 as. T Dlast). (6.38) 
n k=2 
注 6.3.1 解释 条 件 (6.3.7), 例子 会 在 推论 6.32 中 给 出 , 其 中 我 们 假设 {Ynn > 
1} 有 界 且 On 取 值 为 Yu Yk. 
证 $ 


Droa, = lo: Xy = apl < k < n), mk] € S, 1< k < n, (6.3.9) 
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5n 
P(D,,...... ) = pt: It En), (6.3.10) 


其 中 Daan Rn MEER. 记 Ms n MERR, N 是 包括 加 口 和 所 有 柱 集 
的 类 ， A 是 一 非 零 常数 ， 在 W 上 定义 集 函数 如 下 当 呈 > 2 令 


exp(A >` yk, (zx))p(za, tts En) 
B(Ds, us) m n M n. (6.3.11) 
Iu + (exw - notes e) 
k-2 


EF y 是 一 任意 实数 ， 且 


tk = fx, tf SER-1) k z 2. (6.3.12) 
同时 令 
u( Ds) = > I(Dz, s), (6.3.13) 
zT € S 
HD) = 37 u(Da,). (6.3.14) 
TIES 
EEK n > 2 时 有 
B(zi,: Za) = pilt En- )PlEnlEi ,Ln_1), 


E yn 只 依赖 于 21,… ,zn-1, 由 (6.3.10), 得 


exp(Aysó:; (2«)]p(zs|z1,- ` a1) 
2 (Da) er 


DnES 


= Ds) 2 +> | 


En=ti Tn zt; 


= (D ME 
notet LH (es lp(t|zr ima) (ee — Dp(hdzis ima) 
= p(Da, n, i). (6.3.15) 


HI (6.3.13)—(6.3.15) 知 是 入 上 的 测度 ， 由 于 WW 是 半 和 代数 ，j 可 惟一 的 扩张 到 
o- 代数 o(N) E. 4 


(D) 
tu) = Y BZ FT», 
pex, P(D) ” 
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其 中 Ip RD 的 示 性 函数 ， 即 


BD x (o). Xa)) 
t (A 2) = Sn Xs 6.3.16 
Que) P(Dx,(3)...X. (w)) 


易 知 (Ns, n 2 1) 是 一 个 网 . 由 两 微分 法 ,存在 AQ ti) € oN) c Z, P(A ti) = 1, 
使 得 


im nlà w) = 有 限 数 ，w € Al, ti). (6.3.17) 
由 此 
limsup(1/c, Int, (A, w) € 0, wE AtA D. (6.3.18) 


由 (6.3.3), (6.3.9) 和 (6.3.10)—(6.3.12), 24 n > 2 有 


In£4(À,u) = AY YA, (X4) 一 Y nfi 十 (eXYa 一 1)p(t;|X1, ... , Xk-1)]. (6.3.19) 
k-1 k—2 


H (6.3.18) 5j (6.3.19), 得 


lim sup(1/2) [A 9 YA, (Xx) 一 S hji + (e^** — plti] Xi Aa) < 0, 


k=1 k=2 
w € AQ, ti) N D. (6.3.20) 
根据 上 极限 约 性 质 
lim suplan — bn) < 0 = limsupfen — cn) € limsup(ba ~ ca), (6.3.21) 
了 一 DO nc nu 


由 (6.3.20), 得 


lim sup(1/o,.) ^ Y Y46,(X«) — Y AYup(t Xa .: : Xi] 
nores k=l k=2 


< limsup(1/2.)| Y mpi (PY _1)p(8|X:i,.-.. ,X2-4)][ 3 AYip(s Xs Xie )| 


k=2 k=2 
w € Alà, ton D. (6.3.22) 
取 0<A<a. 35 (6.3.22) 两 边 朵 除 以 A, 并 利用 不 等 式 
In(1+ z) < z (z > —1), 0 < e“ — 1 — z < z2elzl, (6.3.23) 


Hi (6.3.22) 5j (6.3.7), 得 


lim sup(1/25) | 5 Yede (Xx) — X Ysp(tiX1,--- , Xi) 


k=l k=2 
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<limsup(l/on)》， [je -1-AYQ)p(X, Ji] 
TL.— CO 2 


k- 
< lim sup(1/7,) X weta, e. X) = AM {w), 
n— k=2 
w E Dia, t) A A(A, ti). (6.3.24) 
HO «Ae «a (£—1,2,---), fb Ay — 0 Q3 k — oo), 同时 令 A* (£2) = OREL A(A ti) 
则 由 (6.3.24) fü, XI ERE k 2148 


lim sup(1/o«) ma _ ip Xi] < AjM(w), 
k-1 k=2 
w € D(a, ti) n A(A;.t.). (6.3.25) 
由 于 À 一 0 H (6.3.25), 得 
limsup(1/o,.) [E Yau (X4) — AES Us X82) & 0, 
k=1 =2 
w € D(a,t;) n A'(t;). (6.3.26) 


HR —e «7, «0(k = 1,2), E ry, — 0 QA k > oo), 同时 令 Alt) = 
NEAT t). 模仿 (6.3.26) 的 推导 ， 由 (6.3.22), 得 


lim inf(1/o,) | > YEG (XL) — > Yiplti| Xi Xia ) > D, 
| utc Dietan A. (ti). (6.3.27) 
A Alti) = A*(t) n A,(ti), 由 (6.3.26) 5j (6.3.27), 得 
dim (1/0w) p Yl 06) - Y Yit Xa)| =0, 
I w € D(a, i) n Alti). (6.3.28) 


由 于 P(A(&)) = 1, (6.3.8) 可 由 (6.3.28) 直接 推 得 .定理 证 毕 . 
定理 6.3.2000. ELF 2002) $ S= {t;e ta) XU 


lim (1/04) $ ^ Ye(g(X4) - E[g( X AX Xr} 2 0 as. FP Dlo), (6.3.29) 
k=2 


其 中 D(a) = n, D(a.t;). 
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g(X,) = 2 a(t)5 (Xr), (6.3.30) 
Efô (Xi)|X1, , Xa-i] = ptilX1, Xx) k > 2, (6.3.31) 
H (6.3.8), (6.3.30) 5j (6.3.31), 得 


Jim (1/0n) 9  Y«(g(X1) — Fl) Xt Xa] 


ON 
= Jim a (1/25) 2 9. Ykg(t; Mbe (X) — petil Xi Xx)! 
k—2i-1 
- Ya) u lim a (lan) $) YB, (Xx) — p(t| Xs, + , Xr) 
k=2 
= 0 a.s. + D(a}, (6.3.32) 


BI (6.3.29) 成 立 . 

在 推论 6.3.1 一 6.3.5 中 我 们 考虑 简单 的 赌博 模型 ， 其 中 对 固定 的 tg 被 取 作 
à, (NG € S). 

推论 6.3.1 4 


Sn(ti,w) = J Yru (Xk), (6.3.33) 
点 一 工 
Di(o,t;) = E : Y Yelp] X X. 4) = = (6.3.34) 
k=2 


其 中 o 是 任 一 正 的 常数 ， 则 


Sn (t, 0) 一 »» Yxp(t,| Xi, ttt (X8) 


ñ k=2 
lim 
n= 2 olYs| 
Y Yie lp(t: Xy, LXI) 
k=2 
a.s. F Dila, ti). (6.3.35) 
证 o? 
on = 》 Yp elot Xi... X, 1), n > 2. (6.3.36) 
k—2 


则 
M(w) =], w€ D(a, tı) = D 
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D(a, £1) 一 Di(a,ti). (6.3.37) 
由 (6.3.8) 5j (6.3.37) 即 得 (6.3.33) 成 立 . 
推论 6.3.2 Wr xk FE pn i fa(zi ,£a)(n 一 1,2,...) dE IX fà] (0. b] E Bu (Bil 
fnlti Za) 是 [0,5]- 值 选择 函数 ) 令 
D, 一 fu : Y Y, = <). (6.3.38) 


则 


Jim 0/5 Y) [s.t - 3 Yet, X] -0 as FD, (6330) 
k=1 


k=2 
证 令 
on 一 5 Yk, (6.3.40) 
k= 
H 0 < <b, ME 
0 < Y, < b, kl (6.3.41) 
由 (6.3.40) 5j (6.3.41), 得 
a Y Yi2e2** 
(1/04) Y ept, o Xna) € EL < be" < oo. (6.3.42) 
k—2 Y> Yi 
k=1 
由 (6.3.40) 与 (6.3.42), 得 
D(a,ti) = D = Ds. (6.3.43) 


由 (6.3.8) 5j (6.3.43) 即 得 (6.3.39) 成 立 . 

注 6.3.2 在 上 述 赌博 模型 中 ， 如 果 事 件 (X, = ti} RE, WÜ) u, = Yn 如 果 事 
fr (X, — 4) PRE, WE pr = 0. 因此 Sh (6, w) 和 ou Ys 分 别 表 示 前 n 次 赌博 
中 赂 秆 的 累积 赢利 和 累积 赌注 ， 其 中 公平 的 意思 是 指 当 周 博 次 数 趋 于 无 穷 时 ， 累 
积 净 赢利 与 累积 赌注 的 比 趋 于 O. 由 (6.3.39) 5 (6.3.5), 我 们 断言 如 昌 赌 徒 在 第 k 
钦 所 付 的 入 场 费 为 Yep(t Xi, Xu > 2), 则 赌博 是 公平 的 ， 即 任何 策略 都 
不 能 改变 赌 徒 的 运气 . 
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推论 6.3.3 在 推论 6.32 的 假设 下 有 
Sy (tiw) 


m i =1 as. F Dsli;), (6.3.44) 
Yeti - Xy) 
k—2 
其 中 
D.,(t;) = E : Y Yeti ,Xe_1) =o}. (6.3.45) 
k-2 
证 令 
Tn = 5 YepltilX, ttt Xk-1), n> 2, (6.3.46) 
k--2 
则 


{1/0,) y Yp e Y p(t;| X4, ttg Xr-1) 
k=2 
b n 
= 3 Yre plti Xn -- Xy) 
Y Yip(tdot,s , Xe-1) "=? 


k-2 
= be*^ < oo. (6.3.47) 


Ht (6.3.46) 与 (6.3.47), 得 


D(a,tj) = D = Ds(ti). (6.3.48) 
出 (6.3.8) 5j (6.3.48), 得 
lim — YUY Qa) - p(tX:,- Xii] =0 
Y npttXis c Xa) 
k-2 
a.s. T Da(t;). 


由 此 显然 可 得 (6.3.44) 成 立 . 
推论 6.3.4 在 推论 6.3.3 的 假设 下 有 


Da(ti) = Dti) as., (6.3.49) 


其 中 » 
Dalt) = fu S Yôu (Xr) = æ}. (6.3.50) 


k=] 
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证 由 推论 6.3.3 知 
Da(ti) C Dalti) a.s.. (6.3.51) 


下 面 我 们 来 证 明 相反 结论 令 wo € A ti) D's(t;), 其 中 D's(t5) 是 Ds(t,) 的 补 . 
由 (6.3.17) 5 (6.3.19) 得 


exp | Y Y (eos, Gn) 


lim £j(1,u9) = lim k=l 
nox naO 


JAI + (€? — Dpttil Xu an), , Xk 93 


天 一 2 
= 有 限 数 . (6.3.52) 
利用 不 等 式 ez — 1 < re?, 得 
0 < Y (et) — 1)p(t:| Xi (Ga). , Xr- lwo)} 
k=2 
< Y (wo)e*p(t;|X1(wo), = , Xr-1(w0)) < oo. (6.3.53) 


HI (6.3.53) HIC SIE d Sk E pn. É 


e 


0< | [i+ (e — Oplt: Xi (uo), --- ,Xk—1())] < 9o. (6.3.54) 


m 
li 


2 


由 (6.3.53) 5j (6.3.54), 得 


Y Y (wo) (Xi(wo)) < co, (6.3.55) 
k=1 
Bl wo € Dia(ti). 因此 ACL, ti) n D' (t) C AC, t) D'4(t), BA 
A(1, ti) n D4(t) C A(1, t) 1 D(t} (6.3.56) 


由 于 P(A(Q,4)) = 1, 由 (6.3.56) 5j (6.3.51) 即 得 (6.3.49) 成 立 . 

下 面 推论 是 成 功 赌博 系统 不 可 能 性 的 经 典 结论 . 

推论 6.3.5 < S= (0,1), {Xn,n => 1) 是 一 列 具 有 Bernoulli 分 布 (1 — p,p) 
的 独立 同 分 布 的 随机 变量 ， {Y,n => 1} 有 界 ， 且 


oo 
y W = o a.s., 
k=1 
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财 
. 1 <— 
lim — 1 YxyXk = p as. 


T — 73 
xat 
k=I 


证 取石 = 1, EHE RETE ied IE F plt:|Xi X1) = p, 由 推论 63.3 直接 可 
得 6.3.5 成 立 . 

在 下 面 推论 中 我 们 考虑 一 般 赌 博 模 型 ， 其 中 S= (6, ,tw 上 第 n 次 试验 的 
偿付 为 Yig(Xn), 9 是 5S 上 的 任意 函数 . 

推论 6.3.6 4 S — {1,… tw). 设 对 任意 的 n>1 有 0< falti ,zn) < b, 


则 


1 


— Y Y. [9(X,) Elg(X)Xi, Xr} =0 as. T Dx. (6.3.57) 
Y Y, k=2 
k=1 

iE 由 (6.3.43) 有 D(o) = D>, 因此 由 (6.3.29) 直接 可 得 (6.3.57) 成 立 . 

注 由 (6357) 与 (6.3.5) 可 知 车 周 徒 在 第 k 次 试验 所 付 的 入 场 费 为 
Y,E[g( Xx) Xs. Xi] (£2 2) ， 则 赌博 是 公平 的 ， 

例 6.3.1 {Xen 1} 是 非 齐 次 马尔 可 夫 链 ， 其 状态 空间 为 S= {1,2,…， 
N), 转移 矩阵 为 


lim 
no0 


Pan = (pn (5, 3)); Panli, 3) > 0, z, € S, m > 2. 


其 中 pali, j) = P(Xn = j|X, i = 0(n > 2). 设 选择 系统 有 界 ， 即 对 任意 mn> 1 有 


0 € falzi Tn) € b < oo, 则 


. l < 
lim — Y XX — E[X,.|X, a] = 0 a.s. F D>, (6.3.58) 
y` Y, k-2 
k—1 
xl g ÉS ics, 
. 1 <— . 
lim 一 Y T AUG) 7 pRCXR-1 2] = 0 a.s. F Do. (6.3.59) 
" y` Y, k=2 
k=1 


证 Wgl) =i U & 9) 并 注意 到 E[X4XI Xia] = E[XCX 1], (6.3.58) 
可 直接 由 (63457) 得 到 HX g(j) = dl) G € S), 并 注意 到 E[ó;(X,)|X;- = 
Pkl Xr- i), (6.3.59) 也 可 直接 由 (6.3.57) 得 到 . 
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例 6.3.2 W {Xn,n => 1} 是 齐 次 马尔 可 夫 链 ， 其 状态 空间 为 S = (1,2), 转 
移 矩 阵 为 


P= [ Pi Piz J ;Dif > 0, p21 2 Pin, 
Pa P22 

且 5 是 一 正 数 .， 设 根据 赌博 规则 赌 徒 在 第 n 1 次 试验 的 赢利 为 Y, ó, (Xi). 

由 于 pa > pu 意味 着 条 件 概率 P(X, I = 1|X, = 2) AFRE P(Xnt1 = 

1|X。 = 1), 则 看 起 来 车 赌 徒 采用 如 下 策略 ， 当 X, = 2, $ Yny = b, XS = 1, WI 

WE n+l RE, A 


0 当 x=, 一 1 


他 会 有 机 会 赢 ， 但 由 推论 6.3.2 知 这 是 不 可 能 的 . 事实 上 ， 由 上 述 推论 可 得 ， 对 任 
意 有 界 赌博 系统 (Yun > 1}, 有 


. 1 z 

jim ———IS.(1,) - Y Yepll|Xi, Xa) as. F Ds. 
a = 
k=1 
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在 本 节 中 我 们 将 随机 选择 的 概念 推广 到 非 齐 次 马 氏 链 ， 利 用 分 析 方 法 得 到 状 
态 序 偶 出 现 的 相对 频率 的 一 个 强 极限 定理 . 

4 {Xan 2 0) 是 状态 空间 为 5 = {1,2,3,… ,} 的 非 齐 次 马 氏 链 ， 其 初始 分 
布 与 转移 概率 分 别 为 


q(1,a(2),--- , (6.4.1) 
Pa = (Pali j) 543€ S, n=1,2,...,, (6.4.2) 
其 中 pali, j) 2 P(X, = j|Xn-1 = 3). # ol 并 设 
fi(zo,21), fa(zo,21,22), ^  fa(Zo, s En) (6.4.3) 
是 一 列 定义 在 S"+!(n = 1,2,…) 上 取 值 于 (0,1) BIER. JE 
Yo= 1, Y, = falXo ,Xn), n>1. (6.4.4) 


假设 s 
>» Y, = oo as. (6.4.5) 
n-Ü 
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随机 变量 序列 {Yn n > 0) 岂 做 一 个 随机 选择 系统 ， 考虑 序 偶 序列 
(Xo, X1), (X, X2)--- (Xi. X). (6.4.6) 


根据 YLO < k < n-1) 的 取信 ， 选 择 (6.4.6) f) — 1 T7). GHI Y, = 1 时 选 
FE (Xi, Xerri). È k,j € S, os (5j, o) ZFR (k,j) 在 (6.16) 的 选择 子 序 列 中 的 个 
E. BD, 


nlk, j, w) = Y Y, —3 (Xm 199; (Xm), (6.4.7) 


m-—1 
其 中 ó,(:) 是 Kronecker å 583, w EHE, Xu (o) 简 记 为 Xn, Ya(w) fi Ya. 
定理 6.4.1( 刘 文 . 汪 忠 志 1996) Xn, Yu, o, 如 上 定义 . 设 gn{z0,-… Tuin > 
1) 是 取 值 于 5" 的 一 列 非 负 实 值 函 数 ，ow(k,jw) H (64.7) EX, D(k,;) Ew th 
足下 列 条 件 的 点 的 集 台 : 


lim. grn(Xo ,有 na = eo, (6.4.8) 


lim sup[1/g«(Xo, … Xa) y` Y, -Mx(Xm1i)pm(k, 7) 
= M(k, jw) < oo, (6.4.9) 
则 
Jim [1/gn Qro -- Xa) os) — Jo Yoda cp) =0 
a.s. 于 D(k, j). (6.4.10) 


证 本 节 在 概率 空间 ([0, 1), £7, P) 中 考虑 问题 , 其 中 天 是 [0,1) 中 Lebesgue 可 
HEREA, P 是 Lebesgue 测度 . 在 上 述 概率 空间 ， 首 先 给 出 初始 分 布 为 (6.4.1)， 
转移 概率 为 (6.4.2) 的 马 氏 链 的 一 种 实现 . 

令 

q(n.), i= 1,2, 3,- "t (6.4.11) 
是 (6.4.1) 的 正 数 项 ， 其 中 í < ra < mo < ma < --. .把 [0， 1) 划分 成 可 数 (包括 有 
限 ) 个 左 闭 右 开 的 区 间 ;: Dzs Zo = ni, fig, ng; Bp 


D, = [0, a(01)), Da, = lanih q(ni) + q(n2)), -- , 


这 些 区 间 称 为 6 阶 D 区 间 . 一 般 地 ， 假 设 Daz, 是 一 个 nn 阶 D 区间， 转移 矩阵 
Pani 中 第 z, 行 的 正 项 为 


pn+i(zn， Th), = 1, 2, 3, tty (6.4.12) 
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此 时 1< mi < mz < ma < 之 :…. 按 比 例 
pa+i(za 1) : Pnai(£a, Ma) : puai(24.ma) 5:7 , 


将 Dan. 划分 成 可 列 个 左 闭 右 开 区 间 Dia naui (Tntl 一 ms,1 一 1,2, 3...) 这 
样 就 得 到 了 m+1 阶 区 间 ， 根据 以 上 构造 居然 有 


P(D,-..s,) = gí(zo) Y Pr m1; m). (6.4.13) 
m=1 
当 m>0 时 ， 定 义 贿 机 变量 X, : [0,1) — S Hi F: 
X,(u) = £p 如果 w € D... (6.4.14) 
由 (6.4.13) 和 (6.4.14), 有 


PlXe = 20, ,Kn = za) = P(Dx,...z,) 


= P(D,,) 》 3 fpmli, 0] 09m 35m, (6.4.15) 
m=1 165 ies 
故 {Xan > 0] 构成 一 马 氏 链 ， 起 初始 分 布 和 转移 概率 分 别 为 (6.4.1) 和 (6.4.2). 8 
R Yn 在 每 一 个 n 阶 D 区 间 上 都 是 常数 ， 我 们 将 使 用 上 述 实现 来 证 明定 理 . 
为 了 证 明 的 适 要 ， 首 先 构造 一 个 辅助 函数 . 令 X> 0 是 一 个 带 数 ， 定 义 一 列 
随机 变量 ralit w) (it E S.n=1,2,-..) lU Fr: 令 w E Dama 
1) 如 果 -1(w) = 1, 并 且 zn-1 = k, £ 


Apa(k, j) 


Talk, jw) = TF Dok (6.4.16) 
ra (k, t.u) = Domus tz j. (6.4.17) 
在 这 种 情况 下 有 | i j) 
Tn kju 1 CP jj = 
palk I — ra ERE ~ (6.4.18) 
1 ralk jiw) 1 (6.4.19) 


1- palk) 1 FOA- palki) 
2) W Yni (w) = 0 S za) Z k, G 


Tali tw) = pali t), ites. (6.4.20) 
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容易 看 出 在 每 一 个 n 一 1 阶 品 区间 上 ，rn(i,t,w) 都 是 一 个 常数 . EI, rali, j) > 0 
"BUS pii 7) > 0, 且 对 每 个 o € (0,1), 


Ry(w) = (rafi tw), n-1L2.- 
TAMILER. 24236. SEI] RT ERE FE Ww y [0,1) 构造 A 区 间 ， + 
Ass = D.,(zo = n1 n2, Nng, ) 这 些 区 间 称 为 0 Br A Kf. 一 般 地 ， 假设 Assn, 


是 一 个 nn Br A XB, RER Raile € Dau) 中 第 z. 行 正 元 素 的 比例 把 
Asse, 划分 成 可 数 个 左 闭 右 开 区 间 ， 这 样 就 得 到 了 Anus uuu, 区 则 .容易 看 出 


P(A......) = P(A,,) Y. rm(zm-Tzmyo] 


moi 


= P(D) 5 Y V pmli tuy em- 9, 2 € D... aa (6.4.21) 


m-—1li1€5icS 


令 Doo DZ... 分 别 表示 Dass, 的 左 、 右 端点 ， 类 似 定义 Az AL... . 
4 Q 是 所 有 阶 D XII At AUR. EURA h : [0,1] > [0,1] 如 下 : 


hy Daon) = AT a hy (Di...) = Afan 
hy(u) = sup(ha(t), t<w, t€ Q), we fo, 1] _ Q. 
显然 ，hs 在 [0,1] 土 是 递增 的 ， 并 所 


(DZ...) = fa (Dea) = PA )- (6.4.22) 


Tas 


) = hx (Di an) _ h(D ) 


talà, = 
( ° Di, = Dion 
P(A-.za) 
= amm) we Duas 6.4.23 
到- (6.4.23) 


4 ALA k j) Æ hx 的 所 有 可 微 点 的 集 和 . 利用 单调 消 数 导数 存在 定理 可 知 ，P(A(X， 
k,j)) =1. 令 w€ A kih w € D... | (n = 0,1,2,--.). n imi... P(D.,....,,) = 
0, 那么 

Jim ta (Aw) = hy (w) < oc; (6.4.24) 


如 果 lima 5a P(D,,...s) > D, 那么 


Jim t,(À,2) = lim P(A;,,..,.)/ lim P(Deo ao) < oo. (6.4.25) 
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H (6.4.24) 和 (6.4.25), 有 
Jim talà w) = 有限 数 ，w € Al, 8, 7). (6.4.26) 
将 gn(Xo,… ,Xa-1) 简 记 为 gn. 由 (6.4.26) 和 (6.4.8) 可 得 
lim sup(1/gn) nts) S 0, w € AQ.) n D(k.j). (6.4.27) 


4 w € Das, HH (84.15) —(6.4.21) 和 (6.4.23) 可 得 


n ， $ [Zm 21 )6r( Xm) 
t4.) - TT HIT rd 


m-lteSies | pm(š, t) 


li s (k,t,w t w) jn 1 )é (x «.) 
Pin(k.t) 


ra=1 € S 
i II [ms] tet 
m=1tE5 Pm (kst) 


II | tee) 

m= p= (k, j) 
ae 9e YS ca 
1 — pa (kj) 


n Tw (E, jw) 1 — pa(k, ji) Ya -ibh (zm 1)6; (70) 
- Tree eo] 


Ë [cre ia madii) 
m=] 1 — pa(k ) 
= AMA Ya — ñz (zm -1]65 (zw) 


n 


1 Ym (sm 1) 
H [| (6.4.28) 


™m=1 


由 (6.4.28), (6.4.14) 和 (6.4.7), 对 所 有 的 w € [0,1), 有 
Intal w) = on(k, j.w)In A — Y Yn iók(X,, 1) nil + (A 1)pm(k, 7)]. (64.29) 
m=1 


(6.4.27) 和 (6.4.29) Zi 


lim sup(1/94) = [on(k, jw) nA — 37 Yo aA (Xi) 
n= 


m-1] 


‘nh + (A ~ Drs (E 3] £06, we AQ kj) n Diki). — (64.30) 
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24A» 1 时， (64.30) 两 边 同 除 以 In A, 有 


limsup(1/gn) = lost) — M Yu ad (Xo i) (1/1n2) 


.mh + - Don (kj) «0, we Ak.) O Dj). (6431) 
由 上 极限 的 性 质 


limsup(a,, ~ bn} < 0 => limsup(a, — c.) < limsup(b, 一 cn) 
No no 


TL,— o 


和 不 等 式 0 < In(14-w) < wlw > 0), H (6.4.1) 和 (64.9), 有 
limsup(1/g.) = [anlk iu) = JO Yne Gros (oD) 
new m-—1 
< lim sup(1/g..) pD Ym—ibklXm-1)} 
TOO mal 
[0 1n X) fa(1 + Q — Dpmn(k, 3)) — p=(Ë,3)]| 
< lim sup(1/94) V Ymiék(Xm-1i)P (5.3) — 1)/ In À — 1] 
fi— OO m=1 
< [A — D/IaA - 11M(k, jw) w € AQ, k, j} n Dl, j). (6.4.32) 
H À; > l(i = 1,2, ) 使 À; 一 1 人 一 oo), 并 令 A*(k,j) = ne A(XM.E, j), 则 对 一 
gui» 1, 由 (6.4.32), 有 


fim sup(1/as) = [nlla ho) = Y Yeh Ope] 


< ((A; — 1)/InÀ; - 11M (k, ju), « € A*(k,j) Dik, j). (6.4.33) 
由 于 [Ds — 1)/ In X — 1] 2 OG — oo), itii (6.4.33), 有 


meupl /9n) |an (k5) = $S Yon (Xm pa lki) < 0, 
n—ooO ml 


w € A'(k,j) n D(k, j). (6.4.34) 
MOcInA«1N, (6430) 两 边 同 除 以 hnX, 有 


lim inf (1/ gn) = {ens t) 一 D Yn Xm) (ln A 


mæl 
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-In[1 + (A — Dpa(À, my 20, wE Al, kj) nD(k,j). (6.4.35) 
H F £ F E Pb i 
lim inf (an — bn) > 0 — liminf(an ~ cn) > liminf(bs ~ cn) 
和 不 等 式 In(1 +w) € w{-1<w<<0), h (6.435) 和 (6.4.9), 有 


lim inf(1/g«) - [tss w) — Y Ya-1és(X, dos) 


mi 


> liminf(1/9.) $S oca) 


ml 


-[(1/ ln A) In(1 + (À — 1)ps (5 3)) — p 7)] 


> liminf(1/gs) 5 ^ Y 16k i) pu (5, 3) — 1)/1nA — 1] 


= [A - D/InA — ijlimsup(1/gs) $, Yes CE) (k, å) 


m-1 
»[A-1)/1A-1]M(k, ju), e € A( E, i) n D(k,j). (6.4.36) 
BO n1 1,27), 8 n + 16 o0), E A1 (3) = nf AG ki), fa. 
(6.4.34), 由 (6.4.36) 可 证 


lim inf(1/gn) let. w) 一 Y Yo caf OP) > 0, 


m=1 
w € A.(k,j) n D(k, j). (6.4.37) 
Hi (6.4.34) 和 (6.4.37), 可 得 


Jim (1/g«) = [ont jw) — X Ye pa(k, =0, 


m-1 
w € A'(k, j} n A CR, 3) n D(k, j). (6.4.38) 
因为 P(A*(k,j) n A,(k,)) = 1, 由 (6.4.38) 可 得 (6.4.10). 定理 证 毕 . 
考虑 序列 
Xo, Xi, `. :Xa-ı1- (6.4.39) 
根据 Y.(0 < k xn —1) 的 取 值 ， 选 择 (6.4.29) 的 一 个 子 列 ， 当 且 仅 当 Yi = 1 时 选 
HX, 4 k ES, anlk w) Æ k fE (64.9) 的 选择 子 序列 中 的 个 数 ， 即 ， 


Calk, uw). = Y Yu ae ( Xo 1). (6.4.40) 
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推论 06.41 4 
D(k) = {w : lim anlk, w) = oo], 
那么 a 
Jim (1/on(k, w)) lost w) -7 X Y xh eoi) = 
m=1 
a.s. 于 D(k). 
证 + 
gr(20， ttg Zat) = y` fm i£, ttt Hm -1)8ók(Zm 1), 

那么 


gu(Xo,* = Do Ymibk( Xm-1) = Calk, w) 


[gn Xo, X.) 32 Vaf Ot 3p (3) < 1 


m=1 
因此 D(k) = D(k, 3), 由 (6.4.43) 和 (6.4.44), 可 得 (6.4.42). 
推论 6.4.2 如 果 


pa(k, j) = p(k, j), n= 1,2,- 3 


lim [øn(k, j,w)/onlk,w)] = (53) as. T D(E) 


证 由 (6.4.45) 可 得 


[ifon (k, wY >` Yn iók( X, -i)pa=U(k,3) = p(k, j). 


"m-—1 


3b c (k,u) > 0 时 ， (6.4.47) 和 (6.4.42) 2 é (6.4.46). 


(6.4.41) 


(6.4.42) 


(6.4.43) 


(6.4.44) 


(6.4.45) 


(6.4.46) 


(6.4.47) 


取 fn = 1, BRERA T B ULELULHRBOSORCE yaa 3k GE SE R k LS EE IN — 


个 特殊 情况 ， 即 我 们 有 如 下 的 推论 . 


推论 6.4.3 4 S,(k,o) 是 (64.39) H k HARM, Salk, juu) 是 (6.4.6) FER 


(k.j) 的 个 数 ， 即 
S, (kw) = Y m-1), 


(6.4.48) 
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S, (k jw) = Y 0 (X, 195; (X). (6.4.49) 
m-—1 
则 由 条 件 (6.4.15), 有 
lim [Sn (kw) Sn(k,w)] = plk, j) as. P D(k). (6.4.50) 


证 + falto, tU Zn) 三 1. #4 Y, = 1, 3F B. Salk, w) = Onlk w), Salk, jw) = 
Sn(k jw). 此 二 式 和 (6.4.46) 蕴涵 (6.4.50). 


推论 6.4.4 4 
D*(k,j) = {w: 3 Yun iÓ Gi) pm (k,j) = 0}, (6.4.51) 
m=1 
那么 . 
m [ontk, j, wf >` Y, -15 X ip 3)] =1, 
m=1 
a.s. 于 D'(k, j). (6.4.52) 


96.5 二 值 赌博 系统 的 强 偏差 定理 


在 86.1 中 我 们 通过 似 然 比 的 概念 ， 讨 论 了 二 值 赂 博 系统 的 强 极限 定理 .本 节 
中 我 们 将 有 关 讨 论 推 广 到 强 偏差 定理 的 情况 . 
设 {Xn,n > 1) RE S= 10,1) 中 到 值 的 随机 变量 序列 ， 其 联合 分 布 为 


P(X = £1 tt Xn = tn) = plt, ; £4) > 0, 
z; € S,1<i<n n—1,2-. (6.5.1) 


则 {Xan > 1) 是 以 pp(0<2p<1) 为 参数 的 Bernoulli 序列 的 充 要 条 件 是 


pizi e En) = IIa -p T", m ES, n-Ll2... (6.5.2) 
i=] 


为 了 表征 {Xi,1 <i < n) 相依 的 一 般 情 况 和 以 P (0 < p < 1) 为 参数 的 Bernoulli 
序列 之 间 的 偏差 ， 引 进 如 下 的 似 然 比 : 


[za -»'-* 


==: 
falo) = p(zi, 7 £a) 


在 考虑 二 值 随 机 变量 序列 (Xan > 1) HERNU, HOC TEGERE BUT PI 


, WE [Xr = 了 ,Rn = Fn). (6.5.3) 


fizi) fa(21,22).--- ,fn (FE1,* Pr), 3 (6.5.4) 
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其 中 fn-1,2,--) 是 定义 在 S" 上 取 什 于 (0,1) 的 函数 ， 这 种 序列 叫 仇 选择 函 
SUYA 4 
Y, = 1, (6.5.5) 


Y, = fa( X1, Xa. Ut in), (6.5.6) 


根据 {Ya} 选择 {Xn} 的 一 个 子 列 , 取 {Xn} 与 否 按 {Y%} 的 值 是 1 或 0 而 定 , 令 决 
定 (X) 取舍 的 (Y) 恒 等 于 1. 于 是 得 到 的 LX.) 的 子 序 列 ， 其 各 项 的 选择 依赖 于 
过 去 的 结果 而 定 ， 选 择 了 这 种 子 序列 之 后 ， 到 n 时 刻 为 赴 ， 1 出 现 的 相对 频率 为 


Y YiXif Y Yi. 
i=1 i=l 


.本 节 要 讨论 的 问题 就 是 考虑 当 n 一 oo 时 这 个 相对 频率 的 极限 性 质 . 
引 理 6.5-1 设 0<p<l 


giz) = (=n ICE), 0<z<1, 


g(0)= lim g(z)=1-p; g(1)= lim g(z)=p, (6.5.7) 
则 gtz) 在 区 间 [0,p] 上 递增 ， 在 区 同 [p,1] LER, B EE 
dyqg yo e, (6.5.8) 
当 1-pP<c<l 时 ， 在 区 间 [0p] 中 有 惟一 解 a(c); 当 p < c < 1 时， 在 区 阅 [p1] 
中 有 惟一 解 8(c). 
证 由 对 数 求 导 法 有 
g'(z) = (s) E= 2, 0<x<1. (6.5.9) 


4 g(z) = 二 0, 得 x =p. 由 于 当 0 <2> < p hF, g(z) 20; H p<r<1 tt, g(m) «0, 
X. g(z) 在 01] 上 的 最 大 值 为 g(p) = 1, 故 引 理 6.5.1 成 立 ， 

定理 6.5.1( 刘 文 、 汪 忠志 1994) 设 (X,,n > 1} 是 具有 分 布 (6.5.1) 的 二 值 随 
机 变量 序列 ， Tw(w) 与 (Yan21) 如 前 定义 ， c> 0 638. 令 


D(c) = le: lim inffrs (w) 5 “>oy =œ}. (6.5.10) 
íz1 
MD I— p< c< 1 Bf, 
Y xx 
lim inf = > ale) as. T D(c), (6.5.11) 
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其 中 ale) 是 方程 (6.5.8) ERKE [0, p] 中 的 锥 一 解 ， 当 p < c < 1 Bf, 


Y XiYi 


tim sup ZL < B(c) as. "FD(e), (6.5.12) 


"—o00 y Y; 


i=1 


其 中 B(c) 是 方程 (6.5.8) 在 区 间 [p,1] 中 的 惟一 解 . 
注 6.5.1 D(c) 中 的 条 件 


3 Y = co (6.5.13) 
i=1 


意味 着 在 无 穷 次 试验 中 选取 的 次 数 也 是 无 穷 的 . 这 个 条 件 是 考虑 (6.5.10) 5j (6.5.11) 
中 的 极限 时 的 当然 要 求 . 

证 本 节 中 以 ([0,1), Z, P) 为 所 考虑 的 概率 空间 ， 其 中 Z 为 [0,1) 区 间 的 
Lebesgue 可 测 集 ， P 为 Lebesgue 测度 .首先 给 出 具有 分 布 (6.5.1) 的 随机 变量 
, 在 此 概率 空间 的 一 种 实现 . 

将 区 间 [0,1) 分 成 两 个 左 闭 右 开 区 间 Do = [0,p(0)) 与 D. = [p(0),1), 并 称 它 
们 为 1 阶 区 间 . W 2" 4 n Br DERBI {Daen zi E51<i<n} 已 经 定义 ， 
根据 比例 zz En 0): p(T En 1) 特区 间 Dis, 分 成 两 个 左 开 右 闭 区 间 
D,,...x 0 与 Doen BERAR nti 阶 DII. 由 归纳 法 知 ， 对 任意 n> 1, 有 


P(D,, s.) = p(z: , Zn). (6.5.14) 
对 任意 n > 1, 定义 随机 变量 X, : [0,1) — S 如 下 : | 
X«(w) = z4, 34 w € Des, (6.5.15) 
(Xn{w) 简 记 为 Xn). 由 (6.5.14) 与 (6.5.15), 得 
P(X1 = £1, , X, = 24) = P(D;,....,) = p(z1,- "° En). (6.5.16) 


因此 {Xan > 11 具有 分 布 (6.5.1). 
以 下 我 们 就 按 上 述 实 现 来 证 明定 理 . 首先 构造 一 个 辅助 函数 . 设 0< X< 12 
一 给 定 的 实数 ， 访 (n>1) H (6.5.5) 与 (6.5.6) ig X, $ 


Àn = AI plo n, (6.5.17) 


EEKE (0,1) 称 为 零 阶 区 间 ) 的 全 体 为 A 在 A 上 定义 集 旺 数 py 如 下 ， 令 
a([0, 1)) = 1. iZ D... 是 % 阶 区 间 ， 令 


B(Ds, 2.) = [LG — 91775 w € D.....s,- (6.5.18) 
z=1 
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注意 到 在 每 个 nn 一 1 阶 区 间 A, 上 取 常 值 ， 可 知 jp 是 4 EBIRDIBAEIS C hies 
存在 定义 在 区 间 [0,1) HH AR o, 使 YDzrn 有 

(Dz, zn) = AD ti a.) — A, m4-- m) (6.5.19) 
其 中 Don 与 Dho 分 别 表 示 Daon HERRA $ 


fx(D1....) 一 JA (D, iu) 
Dł, -an 一 Dy, 

É kx 的 可 微 点 的 集合 为 4(X) ， 虽 由 单调 函数 可 微 性 定理 有 PIAA) = 1. X 

w € AQ) De, -es EER w n MA, 则 当 lim P(D.,....) = 0 时, 由 (6.5.20), 

有 


tn Nw) = , w € Dass. (6.5.20) 


lim ta{A w) = fi(w) < +o. (6.5.21) 
Tt OÇ 


当 dim P(De es) > 0 时， 由 (6.5.20) 有 


im tnlà ur) = im No < oo. (6.5.22) 
由 (6.5.21) 与 (6.5.22), 得 
Jim 如 (Au = 有限 数 ，w € AQ). (6.5.23) 


由 (6.5.20), (6.5.16), (6.5.18), (6.5.3) 和 (6.5.15), 得 


ta (Àu) = II (3) GS UA ra(w), w € Da, s (6.5.24) 
或 f 
¿L (Ao) -H (Sy (==) C (o). we [01). (6.5.25) 
由 (6.5.25) 和 (6.5.17), 得 | 


eo) e 


t=1 i=1 
PAY a ay EOX) 
QU Qe neon om 
Hi (6.5.23), (6.5.26) 与 (6.5.10), 得 


与 
D Xi XY aE XK DY, 
lim su 2 i=1 i=l Ecl i=l | fn " 
»() (555) (o) 


n oO 
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< 1/limint[V,(o)J (E < Z, weAQ)nD(. (6.5.27) 
SAZIiHBL H (6.5.27) 得 
. A(1 _ p) [x rN Ë Y, 1— 
lim sup E 一 "| < —— a- X , wE AQ)n D(e). (6.5.28) 


设 0<X<p, 则 0< ER < 1. 于 是 由 (6.5.28), 有 


| Mi zoe PRO < cm | ec AD) po sam 
由 此 有 
2m l=? AQ -p) 
liminf u 21 1 一 na ,0<A<p. (6.5.30) 
Dy "73e / (1—A)p 
求 导 得 a 
e (一 "HE Go) ] (6.5.1) 
X1- yf 闪光 | 
令 p) = 0, f 


PIN =e. (6.5.32) 


由 引 理 6.5.1 知 方程 6.5.32) 在 区 间 [0, p] 中 有 惟一 解 a{c). 易 知 当 1-p<c<1 
Ht, O0 < a(c) < p. 此 时 p(X) XE A = ale) 处 取 到 它 在 区 间 (0,p) LARARE. 由 
(6.5.30) 5j (6.5.32), 有 


ote aa [8907219 / o 7»)... 
etn ci CU] Ioa =e (6539) 


在 (5.5.2) FR À = a(c). 由 (6.5.33) 即 得 


Y XY; 
inar i 
Y 


i=l 


zao(c) wc A(atc)) n D(c). (6.5.34) 
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由 于 P(A(o(c))) = 1, 故 由 (6.5.34) 434 1—p < c < 1 lf, (6.5.11) 成 立 . 当 c=1 
时 ， e(^) 在 区 间 (0, p) 上 递增 ， o(1) 一 1, 而 (p) 无 定义 . 取 Àk € (0, p)(k 一 1, 2, tt .) 
使 X, — p k — oo), 则 由 (6.5.2) 对 一 切 k # 


ir a-a- 
lim inf ¿= " > naa ppa AP “ Š ñ (nA). ((6.5.35) 


Hi L'Hospital 法 则 ， 有 


m M-A _ | 
n aD (I p)/pl A] ^^ (6536) 
由 (6.5.35) 与 (6.5.36), 得 
Y x5 - 
lim inf =} >p, wE fD nN A). (6.5.37) 
>», Y, k=l 
s=1 


由 于 P(ngA(4)) = 1, 故 由 人 6.5.37) i4 e— 1 时，(6.5.11) 亦 成 立 , 当 ce=1-p 
WF, afe) = 0, 此 时 (6.5.11) 是 平凡 的 . 
设 p< 入 <1 则 人 二 型 > 1, 于 是 由 (6.5.28), 有 


p(1— X 
A(1— p) tim eup $ XY./ È Y 1-p 
Fe Su-ae "84090 Dle). (6.5.38) 
由 此 有 
H MN 一 多 nô p) AU D 6.5.39 
9 Yu im paa} «e40)nD(). — (6539) 
Kpzcezl 4 
£0) - nc ay / nM p< À< 1. (6.5.40) 


求 导 得 (6.5.31). 令 9'(A) = 0 44 (6.5.32). 由 引 理 6.4.1 知 方程 (6.5.32) 在 区 间 [p, 1] 
中 有 惟一 解 6(e), 易 知 当 p<e<1T 时 ，Pp<Hcel<l 此 时 efA) 在 Ac) 处 取 到 它 
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在 区 间 (p, 1) 上 的 最 小 值 ， 由 (6.5.40) 5j (6.5.32) 知 


e(A(e)) = Bo). (6.5.41) 
在 (6.5.39) 中 取 À = B(e), 即 得 
Y xx 
lim sup EL € B(c we A(8(c)) n Die). (8.5.42) 


i=l 


由 于 P(A(8(c))) = 1. 故 由 (6.5.42) A p < e < 1 (65.12) 成 立 ， 仿照 当 c=1 
#le = 1-—p BP (65.1) 的 证 明 ， 并 注意 到 G(1) = p, 8(p) = 1, 可 知 当 e= 1 和 
c-1-pl (6.5.12) 亦 成 立 ， 证 毕 . 

ik 6.5.2 由 (6.5.26) 知 t. (pw) — r«(w), 注意 到 了 P((A(p)) = 1, 由 (6.5.23), 有 


lim Taw- ARA as. (6.5.43) 


由 此 有 


n—o00 


limsuplra(w)] ^ X1 as 于 fo : Yn 一 æ). (6.5.44) 
i=1 


由 (6.5.44) 5j (6.5.10) 知 ， 当 e > 工时 ， P(D(e)) = 0, 故此 时 【6.5.11) 与 (6.5.12) 
平凡 地 成 立 . 
推论 6.5.1 在 定理 6.5.1 的 假设 下 


lim = =p as F D(L). (6.5.455 


证 注意 到 a(1) = A(1) = p, 由 (6.5.11) 5j (6.5.12) 即 得 (6.5.45). 
注 6.5.3 WE {Xn > 11 是 以 p 为 参数 的 Bernoulli 序列 ， 则 raw) = 1, 


因而 DG.) = fu Y= Ja & (8.545) 是 关于 Bernoulli 序列 的 无 规则 性 定理 
i—1 
(Jg IS 1963, p.79) 的 推广 . 


86.6 可 列 值 赌博 系统 的 强 偏差 定理 


考虑 一 个 Bernoulli 试验 序列 ， 并 假定 在 每 次 试验 中 ， 赠 待 都 有 选择 参 赌 与 不 
赌 的 自由 . 所 谓 赌博 系统 ,就 是 周 徒 事先 制订 一 套 规划， 来 决定 哪 一 次 参 赌 . 关于 
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WEAR SER — EBR S. A; HE fr2 RE, WH REIR RIS Y DURS 2 R — 4 
Bernoulli 序列 ， 其 成 功 概率 不 变 . 本 文 的 目的 是 利用 似 然 比 的 概念 和 母 函 数 方法 
对 离散 随机 变量 的 任意 序列 研究 这 一 问题 . 证 明 中 的 关键 部 分 是 利用 母 画 数 和 鞭 
收 化 定理 构造 一 个 依赖 于 参数 的 非 负 灶 . 

B S = {51,32,… 上 } 为 一 可 数 的 实数 列 ， {Xan > 1) 是 一 列 定义 在 概率 空间 
(F, P) 上 在 S 中 取 和 值 的 随机 变量 ， 其 联合 分 布 为 


P(Xi = £1, Kn = En) = gn(F1 ,24) > 0, z€ $, 1<i<n, n=1,2,... 

(6.6.1) 

H falt ,zn) 为 一 组 定义 在 S"(n = 1,2,-.-) 上 取 值 于 {0,1} 的 非 俩 实 值 函 
数 ， 令 

Ynti = f. (Xy: . ;Xn), Y, = 1. (6.6.2) 


根据 (Y, n 21) 选择 {Xan 21) 的 子 列 ， X, 的 选择 依赖 于 Y, 是 否 取 值 于 
L 用 赌博 的 语言 来 说 ， 如 果 Y. = 1, WER n 次 试验 赌 徒 参 财 ;， 如 果 Y. = 0, 
则 他 滑 过 这 次 试验 ， 于 是 (X,.) 被 选 出 一 个 子 序列 ， 其 中 每 一 项 按 过 去 的 结果 选 
出 ， 将 X, 解释 为 赌 徒 在 第 n 次 参 财 的 请 利 ， 故 在 所 选 的 子 列 中 ， 直 到 时 肇 见 周 
徒 的 平均 赢利 为 977 4 Y. X. / Eim Yo 其 中 直到 时 刻 ” 赌 徒 参 财 的 次 数 为 Dia Yi- 
本 文 的 目的 就 是 讨论 此 平均 赢利 的 极限 性 质 ， 显 然 ， 考 虑 此 和 问题 须 有 一 附加 条 件 
$54 Yi = oo, 这 个 条 件 意 味 着 对 于 我 们 所 研究 的 样本 点 来 说 ， 所 选 的 子 列 必 为 无 
限 子 列 . 令 


D = (o: 2 o) = cc). (6.6.3) 


对 任意 的 w, 由 (6.6.2) 定义 的 {Yn} 称 为 一 个 选择 系统 或 赔 博 系统 . 
设 8 为 下 上 的 另 一 测度 ， 并 令 


p(s1),p(52).---  p[s:) > 0 (6.6.4) 
为 5 上 的 一 分 布 ， 使 得 对 任意 的 mn 有 


ħali ,Zn) 三 Q(Xi = f]; An = Za), 
= I». zk € S, 1 < k < n, (6.6.5) 
k=1 


即 {Xn,n < 1) EQ Parks, H 


Q(X., = £n} = p(z,), zk € S, n-12,-.. (6.6.6) 
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令 n 
(Xk) 
ra (u) = han 一 Ir (6.6.7) 
^ nX Xn) Gal Xis Xn) i 
Ep o 为 样本 点 ， 按 统计 术语 ， rn(w) 为 似 然 比 . 
EX 6.6.1 4 
r(w)- limint(1/ 》、 Yy)lnra(w), w € D. (6.6.8) 
k=1 
r(w) MOS Q 相对 于 P RF {Xa} M {Ya} 的 样本 散 度 率 . | 
设 具 有 分 布 p(s)(s € S) 的 随机 变量 X 的 数学 期 望 于 母 函 数 分 别 为 
m = Y si p(s), (6.6.9) 
i=1 
M(t} = Y e^p(s;). (6.6.10) 
i=1 
显然 
m= Eo(Xn), M(t) = Eg(e!*7),n —1,2,... (6.6.11) 


此 处 Eq 代表 在 Q 下 的 期 望 . 
定理 6.6.1( 刘 文 1999c】 设 {Xan > 1), (Yan > 1), r(u),m, M(t), 均 如 前 
定义 ，c > 0 为 常数 ， 令 


Dlo = {w :w € D,r(w) > —c}. (6.6.12) 


如 果 M(t) dE t = 0 SEA BR (a,b) 内 有 定义 ， 则 


lim inf (v x) Y 9X. —mzao(c) P-a.s. F D(c), (6.6.13) 
k-1 k-1 

此 处 
a(c) = sup(e(t), a < t < 0), (6.6.14) 
e(t) = [In M(2)]/t — m + c/t, te (a,b), tZ 0. (6.6.15) 

另外 
a(0) — 0, o(c) < 0, (6.6.16) 
a (c) = 0. (6.6.17) 


lim, 
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注 6.6.1 显然 , 3 P = Q If r(u) = 0. 在 (6.6.24) 中 我 们 将 证 明 在 一 般 情 况 
于 有 


lim sup ( / xx) lnr lw) < 0 P-as. T D. (6.6.18) 
k-1 
这 表明 
rw) < 0 P-as.-F D. (6.6.19) 


因此 rw) 可 以 看 做 (Xa, > 1) 在 D 上 的 关于 测度 已 和 测度 Q 下 储 差 的 度量 . 
Ir(u)| 越 小 ， 偏 差 越 小 .在 (6.6.12) 中 定义 D(e) 的 条 件 可 以 看 做 对 此 偏差 的 一 个 
限制 ， 上 述 定理 和 定理 662 给 出 在 此 限制 下 ， (1/1) Jos, X: — m 也 得 到 相应 
的 跟 制 ， (6.6.13) fil (6.6.32) 分 别 给 出 了 liminfa Sos (1/n) 3544 Xk — m XT e Ë) 
下 界 种 limsup, Lu (1/n) i 和 一 和 关于 < 的 上 界 的 一 个 估计 .由 《6.6.17)》 和 
(6.6.35) 41, 34 c 很 小 时 ， 这 些 界 的 绝对 值 也 很 小 . 

定理 6.6.1 的 证 明 对 任意 给 定 的 1€ (a,b), 易 知 


T(t) = Th, (tw) = roa(w) exp D »» sx] [M(t] T= Y (6.6.20) 


k=1 
DW — Ef th (关于 P). 实际 上 ， 用 Z, 代表 有 X1 X, 生成 的 o- 代数 ， 则 
Tonal) _ Batil Xis t ,Xn, Xu) g. (Xi,::: ,Xn) exp(tYa 1X»41) 


T4(t) i h (20.7: An) $n41i(X1, 777 , Xn, X, +i) M(t) 


1 exp(tYn+ X ^H) 
P(X.a|X,---,X4) M(H) 


由 于 Ya 关于 Fn HA, 4 


一 p(X,.+1) : 


E( nO) = S POGA = ons Xa) 
T,(t) = 


Ps) _ ep(Y,+is) 
P(X4411— 一 8|X3,-- - XA) M (t)Y» 
= y ALS p(s) exp(tYs c p(s) exp(tYn+18) 


JY» 
scs HO " 


由 于 Yapi = 0 BË 1. 因此 (T, (t), n > 1} a.s. ia, EFE A) € Z, P(A(t)) = 
使 得 
lim T,(w) = 有 限 数 ，w e Alt). (6.6.21) 
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由 (6.6.3) 和 上 式 ， 得 
lim sup ( D3 n) [n Tale) < 0, we A(t) n D. (6.6.22) 
nes k=1 
H (6.6.20) 和 (6.6.22), 可 得 
lim sup (v x) Ë raw) + nas XInM(t), wc A(t)h D. (6.6.23) 


n oo k=1 k-t 


E (6.6.23) rR t = 0, 可 得 
lim sup ( / Y n) Inrs(2)] £0, we A(0) D. (6.6.24) 
noe k=1 
由 于 P(A(0)) = 1, 则 可 由 (6.6.24) 得 到 (6.6.18). 由 (6.6.23) 和 (6.6.12), 可 得 
lim sup ( / Y n) Y Ye Xr — mt € ln M(t) + e — mt, 
neo k=1 k=1 
v € A(t) n D(c). (6.6.25) 
$ t € (a,0), 对 (6.6.25) 两 边 同 除 以 得 
lim. inf ( / Y n) Y Y4Xy — m > [In M(t) + c — mt]/t = vt), 
ku Jm 
w € A(t) n D(o). (6.6.26) 
由 (6.6.14) 知 存在 去 € (a,0), i = 1,2,--, 使 得 
Jim (t) = a(c). (6.6.27) 
4 A = (YS, A(G). 由 (6.6.26) 和 (6.6.27), 有 
lim inf ( /> w.) Y nx. -m2a(e) we A(t) n Dio). (6.6.28) 
&i / k 


由 于 P(A) = 1, 则 可 由 (6.6.28) 直接 得 到 (6.6.13). 
由 (6.6.10) 和 Jensen 不 等 式 (参见 Billingsley1986, p.75), In M(t) > tm. ix 
HH v(c) < 0, t € (a,0). 因此 alc) < 0. HF In M(0)=0 #8 
d 


d In M(t) = M'(t)/M(t) =m, t=0 ff, 


第 六 章 ”关于 赌博 系统 的 若干 强 极限 定理 - 261 . 


有 
lim p(t) = lim(n M(H)]/t — m =0， 当 c=0 时 . (6.6.29) 


上 式 和 a(0) < 0 表明 a(0)=0. 当 0<c<a H, 有 
o(c) > pl- Ve) = —[n M(—/e)|/ ve — m — c/ ve, (6.6.30) 
Jim (In M(— /e)|/ Ve = —m. (8.6.31) 


由 于 ale) < 0, (6.6.30) 和 (6.6.31} 表明 a(c) — 0(c — 0*). 定理 6.6.1 证 毕 . 
定理 6.6.2( 刘 文 1999c) 在 定理 6.6.1 条 件 下 ， 有 


limsup (ux) Y Y,X, —m < B(c) P-as. P D(e), (6.6.32) 
noon k= k=1 
此 处 
B(c) = inf (e(t), 0 < t < 5), (6.6.33) 


其 中 e(t) H (6615) 定义 ， 另 外 ， 
B(0)=0, Bie) > 0, (6.6.34) 
Jim. (c) = 0. (6.6.35) 


证 te (0,b) XJ (6.6.25) 两 边 同 除 以 得 


lim sup ($n) S YU mt < [in M(£)]/t — m + e/t = e(t), 
n-oo k=1 k=1 
w € A(t) n D(c). (6.6.36) 

Jim e(t) = &(c). (6.6.37) 


令 A= (1, AC). 由 式 (6.6.36) 和 (6.6.37), 有 
lim sup ( / xx) Y o. -mZ Bld, we A(t)n D(c). (6.6.38) 
no k=1 ki 


H T P(A) = 1, 则 可 由 (6.6.38) 直接 得 到 (6.6.32). 类 似 于 (6.6.16) 和 (6.6.17) 的 证 
明 方法 ， 可 得 到 (6.6.34), (6.6.35). 定理 6.6.2 证 毕 ， 
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推论 6.6.1 在 上 述 定 理 条 件 下 ， 有 有 


Jim (vx) Y XX. =m P-as. T D(0). (6.6.39) 
k=1 k=1 
WE Æ (6.6.13) 和 (6.6.32) 中 令 c = 0, 可 直接 得 到 (6.6.39). 
推论 6.6.2 当 (X,,n > 1) 为 服从 (6.6.4) 的 独立 同 分 布 的 随机 变量 ， 即 
P(Xn = si) = p(s), M 


lim. (v3) Y T Y,X, =m Pas. F D(0). (6.6.40) 
k=1 k=1 


证 这 时 ， rw(w) 三 1，D(0) = D, (6.6.40) 可 由 (6.6.39) 直接 得 到 . 
注 [Xuan > 0) 为 一 平稳 遍历 的 马尔 可 夫 链 ,状态 空间 为 5 = {1;,2…… N} 
设 其 转移 矩阵 为 
P = (p(i,)), ij € S, (6.6.41) 


平稳 分 布 为 {7(i), ¿€ S). 令 
P(Xo = i) = (i, š € 8. (6.6.42) 


Wi (X,, 0 < k <+) 的 联合 分 布 为 


gn(zo …… 24) = z(zo) [| »(24-1.24). (6.6.43) 
k=1 
令 nn 
IIo 
r (ur) = 于 二 — (6.6.44) 
II P(X&-a, Xx) 
k=1 


为 关于 参考 分 布 (m(s), i € S) 的 似 然 比 . 
由 关于 马尔 可 夫 链 函数 的 强 极限 定理 和 Shannon-McMillan 定理 ， 可 得 


n N 
Jim (1/n) Y Inz(X,) = M nG)Inn(3) = —H(X,) as (6.6.45) 
k=1 


j21 


N 


n N 
Jim (1/5) 》 Inp(Xi1, X.) = Y n() Y pG, j) Inp(À, j) 
k=1 


ici j=1 
z—H(X.|X4 1) as., (6.6.46) 
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此 处 H(X,) fü H(X,|X, i) 分 别 代表 X, 的 粹 和 X. 在 Xni efe PISA ERIS. 


H(X,|X, 1) 也 为 过 程 {Xn} BH. 由 于 H(X4|X, 2) < H(X4), 有 


"n 
k= 


1 j—1 


由 (6.6.44)— (6.6.46), 可 得 


(1/n)lnr4(w) = —d < 0 as. 


hm 
Tio 


H BJ 538 k 
0<d= H(X,) 一 H(X,|X, 1) € In N. 


^ S= S, U 52, 并 定义 


falz u za) = 1. WE nE, 
eu 0， 如果 zw € 5s. 
令 
了 = fal Xos: Xa) n> 1, Yo = 1. 
易 知 


im (1/n) Y Y. = y` m(i) a.s.. 


k=1 i€S, 


假设 Yl es, 70) > 0, H (5.5.48) 和 (6.6.52), 可 得 


r(w)- lim (Èn) In ralw) = —d/ Y T(i) as. 
k=1 


iés 


由 (6.6.52) 和 (6.6.53) 表明 


P (» [z Eze) = 1, 


此 处 D(-) 由 (6.6.12) dg X. 4 


m= E(Xa) = V. in(i, m = E(X2), 


4E51 


N 
M(t) = E(e'X>) = X eri), 


N N 
d= Y r() > plij) npl, i) - Yo r0) mal) > 0. 
j jz1 


(6.6.47) 


(6.6.48) 


- (6.6.49) 


(6.6.50) 


(6.6.51) 


(6.6.52) 


(6.6.53) 


(6.6.54) 


(6.6.55) 


(6.6.56) 
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并 令 e(t) 由 (6.6.15) X. 


现在 我 们 给 出 (6.6.13) 的 下 界 ale) 的 一 个 合计 .由 不 等 式 Inz < z — 1(z > 0) 


及 
05e 1- =< za, z < 0, 
可 得 
e(t) > [M(t) — 1]/t — m + ejt 

= (1/#) E[e!*» — £X, — 1] + eft 

> (t/2)E(X2) + eft 

= (1/2)mat + c/t, t < 0. 
E 


a (t) = (1/2)mat + cft, t < 0, 
a (e) = sup [p (t), š < 0j, 
B e(t) 在 t= —/2e/ma 处 达到 它 的 最 大 值 。 因 此 
a,(e) = pe(—V2cfm2) = -v Imc. 
由 于 p(t) < yt), ale) > a, (c), 因此 可 由 (6.6.57), 得 


lim inf (v y` w) YX - m2 -vim P-as. F D(c). 


k=1 k=1 


HZ c = df Dies, z (8), 由 (6.6.54) 和 (6.6.58), 可 得 


lim inf [wJ Y Yk X, -m> — 2mad/ X zli} P-as.. 
k=1 k=ł íeS; 


(6.5.57) 


(6.6.58) 


(6.6.59) 


现在 我 们 对 由 (6.0.32) 给 出 的 上 界 (e) 敬一 估计 . 由 不 等 式 nz < z—1(z > 0) 


和 
0«e*-1-a 1⁄2, z > 0, 
可 得 
p(t) < [M(t) — 1]/t — m + e/t 
= (1/t)E[e** — 1X, — 1] + c/t 
< (t/2)E(X2e'**] + eft 
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< (1/2) N eN L eft, t» 0. (6.6.60) 
Ez e= d/ Yes, (ü), t= vd, H (6.6.60) 和 (6.6.49), 可 得 


e(vd) < (N? /2e I 41 Y z(ü1/d. (6.6.61) 
i€ 


由 于 A(d/ Eies n(i)) < 8(V/d), 因此 可 由 (6.6.61) 和 (6.6.54), 得 


lim sup (v Xx) Y Y,X, -mZ (AN? /2yeN(Vin N) 十 17 >` v(i)] vd P-a.s.. 


类 一 1 k=1 1ESL 
(6.6.62) 


ik 6.6.2 在 上 述 的 例子 中 , 状态 空间 的 每 一 个 子 集 对 应 马尔 可 夫 链 的 一 个 赠 
博 规则 ， 其 中 包括 最 优 的 赌博 系统 这 个 特例 ， 


Yon = fixie Xs) =1 4B E(Xn+1 X4) > rn. (6.6.63) 


实际 上 ， 今 
= {i : E(Xn+1| Xa = i) > m), 


则 对 应 于 S, 的 赌博 系统 就 是 由 (6.6.63) 定义 的 最 优 赌 博 系统 . 

上 述 方法 给 出 了 对 于 绝对 连续 随机 变量 的 一 个 自然 类 似 . 

定理 6.6.3( 刘 文 1999c】 {Xn n > 1) 是 一 列 定义 在 概率 空间 (0,7, P) 上 的 
随机 变量 , 其 联合 分 布 密度 为 galfi ,zn)(1 之 i 之 n,n 二 1,2,…). E p(z) 3855 
一 密度 函数 . 为 简便 , 不 妨 设 gs 和 p 几乎 处 处 为 正 . Ut (X, n > 1), D, rn(w), rw), 
D(c) 分 别 由 (6.6.2) (6.6.3) (6.6.7) (6.6.8) 和 (6.6.12) EX, ARIRE ralu) 由 密 
RAZER $ 


m= f. zp(r)dz, M(t) = [. ef? p(a)dz, (6.6.64) 


假设 M(t) 4E t = 0 的 某 邻 域 (a, 内 有 定义 ， 令 


e(t) = [In M(t)/t - m + eft, t€(a,b), tz: 0, (6.6.65) 
则 
lim inf ( /M x) Y YX -m > ae) Pas. F D(c), (6.6.66) 
k=1 k=l 


n 


lim sup (v x) Yu.X,— m < ñ(c) P-a.s. F D(c). (6.6.67) 
k=1 k=1 
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此 处 
afe) = supí (t), a < t < 0], (6.6.68) 
B(c) = inf (o (t), 0 < t < b), (6.6.69) 

另外 ， 
a(c) < 0, B(e) < 0, (6.6.70) 


Jim oo) = lim A(e) = afe) = &(c) = 0. (6.6.71) 


第 七 章 连续 型 及 任意 随机 变量 序列 的 
强 极限 定理 


本 章 $7.1 及 87.2 中 我 们 用 Laplace 变换 方法 及 向 方法 研究 连续 型 随机 变量 序 
询 的 极限 性 质 ， 得 到 一 类 强 偏差 定理 ， 在 87.3 中 我 们 得 到 一 类 任意 随机 变量 序列 
的 强 极限 定理 ， 作 为 推论 ， 得 到 了 一 类 轨 差 序列 收银 定理 ， 马 氏 过 程 的 强 极限 是 
理 和 若干 经 典 的 独立 随机 变量 序列 的 强大 数 定律 . 已 有 的 若 千 蒜 差 序列 收 伍 定理 
和 可 列 非 齐 次 马 氏 链 的 一 个 强 极限 定理 是 其 特例 ， 此 节 的 主要 结果 对 随机 变量 序 
列 除 矩 条 件 外 没有 任何 要 求 . 


87.1 一 类 强 偏差 定理 与 Laplace 变换 方法 


本 节 用 似 然 比 的 概念 研究 相依 随机 变量 序列 的 极限 和 性质， 得 到 一 类 用 不 等 式 
表示 的 强 极 限定 理 ， 即 强 偏差 定理 . 
É {Xn,n > 1Y 是 非 负 随机 变量 序列 ， 其 联合 分 布 密度 为 


falti e En) gk 20, 1 <k<n, n21,2,-. (7.1.1) 
又 设 f(z) > 0(0 < z < oo) 是 另 一 分 布 密度 ， 且 
三 zf (wd = m = E(Y), (7.1.2) 
0 
R h Y 是 以 f(z) 为 密度 的 随机 变量 .为 了 表征 {Xn,n > 1} 与 具有 联合 密度 
gn(T1 Ut Zn) = II f(z&) (7.1.3) 
k=1 
的 独立 随机 变量 序列 之 间 的 差异 ， 我 们 引进 如 下 的 似 然 比 : 


rntw) = (LE pe (Xi) Kn ,Xn), (7.1.4) 


其 中 [Xon > 1} 具有 联合 分 布 密度 (7.13), w 为 样本 点 (参见 Laha 与 Rohatgi 
1979). 
W f(z) 的 Laplace 变换 为 


f(sy= Ë e ar p(z)dz = E(e Y). (1.1.8) 
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定理 7.1.1 ( 刘 文 1998a) 设 {Xn n 2 1), ra(w), m, f(s) 均 如 前 定义 ， 并 令 


r(w) = - liminf + Inra (a). (7.1.6) 
mE m < co, 则 有 . 

lim inf - > > afr(wj] a.s., (7.1.7) 

其 中 
a(z) = sup[o(=z,s),s > 0), 34 0 < z < oo; a(oc) = co, (7.1.8) 
e(z,5) = —[z + In f(sy]/s, = > 0, (7.1.9) 

Hé 
a(z) < m, z 20, (7.1.10) 
lim a(z) = m = (0). (7.1.11) 


注 7.1.1 显然 如果 {Xn,n > 1} 具有 联合 分 布 密度 (7.1.3) 的 独立 同 分 布 的 
随机 变量 , M r(w) = 0 a.s.. 以 下 的 (7.1.21) #9, 在 一 般 情况 下 恒 有 r(w) > 0 a.s., 
故 r(w) 可 作为 (Xs, > 1] 与 具有 联合 分 布 密度 (7.1.3) 的 独立 同 分 布 的 随机 变量 
序列 之 间 的 偏差 的 一 种 度量 ， rlw) 越 小 ， 偏差 越 小 . 本 文 结果 的 意义 在 于 , 在 as. 
WELF, HA rlw) ATRE (1/n) Dg- XX m 的 一 种 估计， 并 证 明了 rlw) 
越 小 ， 此 偏差 也 越 小 . 

在 刘 文 (1990a) 中 ,作者 提出 了 研究 强 极 女 定理 的 一 种 分 析 方 法 ， 这 种 方法 的 
襄 点 是 构造 一 个 依赖 于 参 孝 的 似 然 比 ， 然 后 证 明 此 似 然 比 a.s. cS. EF UE 
明 中 ， 利 用 Laplace 变换 的 工具 和 圾 收 伍 定理 ， 将 刘 文 (1990a) PREGA LAB RT 
到 连续 型 随机 变量 的 情况 . 

证 令 

g(s,z) = e^ f(z)/f(s), = > 0, (7.1.12) 
则 " 
f g(s,z)dr = 1. (7.1.13) 
0 


dalsi Ei zu) = [[9( 22) = Tle f(z.)/ F(a) 
k=1 k=1 


" 


= A fG)]" exp(—s ^ zx) . II f(z&). (7.1.14) 
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H (7.1.13) Nl qn(8; zf1,… ,In) 是 n 元 概率 密度 函数 . 今 


ES n 


并 设 (w Z, P) 为 所 考虑 的 概率 空间 .由 关于 似 然 比 的 黄 收 敏 定理 知 ， 存 在 A(s) € 
£,P(A(s)) =1, 使 


tnis, w) = 


Jim inis w) = 有限 数 ， w e A(s). (7.1.16) 


由 (7.1.16), 有 
lim sup > Ints(5,u) € 0, w € A(s). (7.1.17) 
性 一 DO 


由 (7.1.17), (7.1.14) 55 (7.1.4), 有 


lim sup L hs raw) — In fis) — Z xx) < 0, w € A(s). (7.1.18) 
令 s=0, 得 
lim sup Zin ralu) < 0, w € A(0). (7.1.19) 
由 此 有 
lim inf = Inralw) < 0, w € A(O), (7.1.20) 
Bp 
riw) 20, wE A(0). (7.1.21) 


34520 Hf, d (7.1.18) 5 (7.1.6), 有 


Done iN 1 Z= 
-a lim inf ~ > x < lim sup RI 十 jte) 


k=1 
— r(w) -Inf(s) we A(s). (7.1.22) 
将 (7.1.22) 两 边 间 除 以 一 s, 得 
l 1 1l, ~ 
lim inf — 2x > —cr(w)- = In f(s), we A(s), 20. (7.1.23) 


设 Q* 是 正 有 理 数 的 全 体 ， A4* = 门 .e@- AG), RI P(A*) 2 1. H (7.123), 有 


_ . 1. 1 1 Z " " 
liminf 2 Xe 2 grlo) - ç In Ffa), w€A', VacQ". (7.1.24) 
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电 (7.1.24), (7.1.21) 与 (7.1.9), 有 


lim inf 一 2» Sh ocA*nA(0, vseq'*. 


n—oo 


AA z Z co 时， (rs) ATF s Æ, HO s 0 FF. (oos) 
(7.1.8) 与 (7.1.21) 知 ， 对 每 个 we A* n AQ), 存在 s) € Q' n = 1,2,.…， 


dim irw), salu] = oir) 


由 (7.1.25), 有 


lim inf i Y X, 2 e(r(w),ss(u) we ANAO), n=1,2,. 
k-1 


H (7.1.26) 与 (7.1.27), 有 
lim inf = Y x -o[r(s), we A* n A(0). 
k=1 
EX; P(A*n A(0)) = 1, Ep] (7.1.28) 知 (7.1.7) 成 立 . 
由 Jenson 不 等 式 ， 有 
f(s) = E(e^*Y) > e s E(Y) Lem. 
H (7.1.9) 5 (7.1.29), 有 
gms) < emm, Ücz«coo sU. 


故 有 
alt) < m, rz > 0, 
HD (7.1.10) mr. i (7.1.9) 及 (7.1.30), 有 


(0, s) = - h? f(s) < m. 


(7.1.25) 


= 一 D0， 故 由 


使 得 


(7.1.26) 


(7.4.27) 


(7.1.28) 


(7.1.29) 


(7.1.30) 


(7.1.1) 


(7.1.32) 


由 Laplace 变换 的 性 质 (Z RE IKE. 22 $ë 1992, p.559) 及 L'Hospital 法 则 ， 有 


lim - Im fla) = lim E 2- 


由 (C18), (73.32) 5 (7.1.33), 有 


a(0) = 


(7.1.33) 


(7.1.34) 


第 十 章 ”连续 型 及 任意 随机 变量 序列 的 强 极限 定理 - 271. 


由 (7.1.9) 与 (7.1.8), 有 


a(z) 2 p(z, y£) = -y2 — yrs 220 (7.1.35) 
易 知 
dim. g(r, 2) = m. (7.1.36) 
由 (7.1.31), (7.1.35) 5 (7.1.36), 有 
lim, a(z) = m. (7.1.37) 


H (7.1.37), (7.1.35) 3 (7.1.11) 成 立 ， 定 理 证 毕 . 


定理 7.1.2 ( 刘 文 1998a) iÉ Laplace 变换 f(s) 在 包含 原点 的 某 邻 城 (一 s0, so) 
内 有 定义 ， 则 在 定理 7.1.1 的 条 件 下 有 


lim sup 1 D Xr < PIr(w)] a.s., (7.1.38) 
n-oo T kal 
其 中 
Biz} = inf{plx, s), -30 < 8 < 0}, 34 0 < z < oo; Bloo) = oc. (7.1.39) 


e(z,s) H C19): X, BH 


B(z)2 m, z20, (7.1.40) 
lim, B(z) = m = &(0). (7.1.41) 

证 dE —so < s < 0, H (7.1.18) 5j (7.1.6), 有 
lim sup 1 ZX < - rfu) 一 TIn Fs), w € A(s). (7.1.42) 


设 Q, 是 (—so, 0) 中 有 理 数 的 全 体 ， A, = feo. A(s), 则 P(A,) =1. H (7.1.42), 
(7.1.21) 5 (7.19), 有 


"oo 


lim sup : Y^ X. < eF(o),3], we An AQ), V s € Q.. (7.1.43) 
k=1 


H (7.1.21) 与 (7.1.9) An, 对 每 个 w E AN A(0), 存在 Ta (tu) € Q,, n = 1,2, B 使 
得 
Him efr) m] = Br) (7.1.44) 
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由 (7.1.43), 有 


lim sup 1 Y X, > ro Ta (u), w EA NAO), n212,-.. (7.1.45) 
了 一 r 1 


H (7.1.44) 与 (7.1.45), 有 


lim sup - Y x, < ffriw), w € A. n A(0). (7.1.46) 
"n—:oo k—1 
为 P(A. N A(0)) = 1, # H (7.146) 知 (7.1.38) 成 立 . 仿照 (7.1.31) $ (7.1.34) 的 
推导 可 证 | 

B(z)> m, B(0)-— m. (7.1.47) 


H (7.1.9) 5 (7.1.39), 有 
B(z) € e(z, —/z) = Vx + A, 0 < z < sü. (7.1.48) 

H (7.1.48) 5j (7.1.33), Æ 
lim, plr, —/z) = m. (7.1.49) 


Hi (7.1.47) 的 第 一 式 ， (7.1.48) 与 (7.1.49), 有 


im A(z) =m. (7.1.50) 


a—0t 
由 (7.1.50) 5j (7.1.47) 的 第 二 式 知 (7.1.41) 成 立 ， 定 理 证 毕 . 
注 7.1.2 fH (7.1.11) 5 (7.141) 知 


lim [8(z) — a(z)| = 0. (7.1.51) 


m--0- 


由 此 知 当 rlw) 很 小 时 , 由 (7.1.38) 与 (7.1.7) 给 出 的 上 、 下界 之 差 B(r(w)) 一 a(r(w)) 
也 很 小 . 下面 的 定理 进一步 给 出 无 穷 小 8(z) — a(z)(z — 0+) 的 阶 的 一 种 估计 . 
定理 7.1.3( 刘 文 19982) 在 定理 7.1.2 的 条 件 下 ， 当 z 一 0+ 时 有 


0 < B(z) — a(z) = (2 + e?) yE + o( 2), (7.1.52) 


HH a? = D(VXY 是 以 f(x) 为 密度 的 随机 变量 ). 
证 由 (7.1.31) 5 (7.1.47) 的 第 一 式 ， 有 


B(z) — alz) < 0, 0 < z < s. (7.1.53) 
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由 (7.1.35) 与 (7.1.48) 知 
0 « Br ) - a(z) < 2Vz+ Ella f —Vz)-Ilnf(Vz), 0O«z «sd. (7.154) 


^ gls) = In f(s)(0 < s < 80). 由 于 f(0) = 1, 故 有 
g"(0) = f"(0) — [f'(0)]2 = o°. (7.1.55) 


(上 式 中 的 第 二 个 等 式 见 邓 水 录 、 梁 之 纤 1992, p.559). 4 gU? (s) 表示 g(s) 的 二 阶 
Schwartz 导数 ， 册 于 g(0) = 0, 故 由 (7.1.55), 有 


Jim. -plin fV) +m iz) + in (V) = lim, la) ~ 29(0) + (72) 


= g”) (0) = g(0) = 0? (7.1.56) 
(参见 那 汤 松 1958, p.334). 由 此 知 当 z 一 0+ 时 有 
Hin (Vs) + In -VE => Vs + o(Vz), 0 < z < sl. (7.1.57) 


H (7.1.54) 与 (7.1.57), 即 得 (7.1.52). 定理 证 毕 . 
注 7,1.3 (7.1.52) #9, 34 x — O+ 时 ， 无 穷 小 B(r{w)) — a(r(u)) 的 阶 不 低 
Ti. 


87.2 连续 型 随机 变量 序列 的 一 类 强 偏差 定理 


设 {Xs,n > 1] 是 任意 相依 连续 型 随机 变量 序列 ， (B.,n > 1) 是 实 直线 上 的 
Borel 集 ， Ta, {2) 是 B, 的 示 性 函数 . 本 节 研 究 {IB,(Xn),n > 1) 的 极限 性 质 ， 
得 到 一 类 用 不 等 式 表 示 的 强 偏差 定理 ， 其 偏差 界 依赖 于 样本 点 . 

W] {Xn n > 1} 是 概率 空间 (0,7, P) 上 的 任意 一 列 连续 型 随机 变量 ， 其 联合 
分 布 密度 为 gr(z1 ,zn)n = 1,2,.... W (m) E = 1,2,… 是 任意 一 列 分 布 密 


FE. 为 了 表征 9n(z1,… ,zn) 与 作为 参考 的 乘积 分 布 密度 TT Ao 之 间 的 差异 ， 
k=1 
引进 如 下 的 似 然 比 : 


r alw) = |! T fi (XE /Gn Xi: Xn); 车 分 母 大 于 0; (7.2.1) 


o, 车 分 母 等 于 0， 


Koo AREA < 1 
r(w) = —liminf = In r4 (u) (7.2.2) 
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(的 定 In0 = -coj. r(u) 称 为 浙 近 对 数 似 然 比 . 易 知 如 果 go(z1… ,xn) = TT fi. 


n>1, 则 rw{w) 三 0a.s.. 以 下 的 (7.2.11) 表明 , 在 相依 的 情况 下 , EA z(a) 2 0 a.s., 
因此 riw) 可 以 作为 {Xan > 1} 的 真实 分 布 密度 gn (x1," En) (n = 12,-..) 5 
参考 乘积 分 布 密度 JI (ea) 之 同 的 偏差 的 一 种 随机 度量 ( 粗 咯 地 说 ， 也 可 以 看 成 


是 {Xnn > 1) 与 独立 情况 的 偏差 的 一 种 度量 )}. r(w) 越 小， 偏差 越 小 ， 本 节 利 用 
似 然 比 的 概念 及 蒜 收 敏 定理 ， 将 刘 文 (1990a) 及 刘 文 与 杨 卫 国 (2000) 中 的 方法 拓 
展 到 连续 型 随机 变量 的 情况 ， 得 到 关于 (Xa, n > 1) 的 一 类 用 不 等 式 表 示 的 强 丛 
差 定 理 ， 其 偏差 界 用 riw) ER. 

定理 7.2.1( 刘 文 、 王 玉 社 2002) jÉ (Xa, > 1}, ralu), riw) 均 如 前 定义 ， 
{Bnn > 1} 是 实 直线 上 的 Bore 集 ， Ig, 是 B, 的 示 性 函数 ， 并 令 


b= limsup = 3» A fk (zx )dzx, (7.2.3) 
Di = [w:r(o)zb) Do = {w : r(w) > b}, 
ji 
(a) limsup = > S 一 f fins] < 2,/br(u)+ rew) ass (7.2.4) 
nooo k=l By 
(b) liminf i Y =. (t) — f, falanja] »-2V6r() as. T Dy (72.5) 
k=1 + 
H 


liminf - y> om 一 Í. fienda z—b-r(w) as. T Ds. (7.2.6) 


i 
证 设 入 >0 为 常数 ， 令 
Afs(zk) 


; mk € Bk, 
hy(z&) = ItO- Jp, Mandia (7.2.7) 
1 +A -1) fn. fx (se) dr 2k É Bi. 
A Ñ hoo 是 n PURIR RI R. + 
talà, w) — | H he Xr) /9n{ X1, etta Än) 若 分 母 大 于 0， (7.2.8) 
0, 若 分 母 等 于 0， 
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W tafà w) as. AKER, MEE AA) EF, PCAQ)) = 1, 使 得 


1 
lim sup z Int4(À, w) < 0, w € A(A). (7.2.9) 


E (7.29) 中 令 À) —1,5 
lim sup L mrnafwj<0 w € A(1). (7.2.10) 
由 此 有 
r(w) > 0, we A(1). (7.2.11) 
H (7.2.7), 有 


z 


Py A falen) 
hy( X4) = 一 -一 一 一 一 ， 
I Xa l 1+(À 7 1) fg, fe(za)dzk 


k 


= ATIm T| h) . 
i I 1 (A- 1) fs. fx(z&)dak (7.2.12) 


由 (7.2.1), (7.2.8) 及 (7.2.12) 知 ， 


ln#,{A,w) = Y Ig, (X,)lnÀ — Yn [ +(À— nf finn] + In rn (2). 
k=1 k=1 Br 
(7.2.13) 
Hi (7.2.9), (7.2.13), 有 


入 一 In ra 
2 In h +( of ficis T Inr. e) 

< 0, € A(A). (7.2.14) 
(a) 4 A» 1. 将 (7.2.16) MARR inà, 得 


"h [i+ A- D fo, tod] ino) 


. MES 
imapi (Smo AE at et") 


noa k=1 k=1 


lim sup (> Is,(X.)In A — 
noo T k=l 


< 0,u € A(A). (7.2.15) 
H (7.2.15) 和 (7.2.2), 有 


k=1 


z n In |1 4 (A— 1) fa fatzs)dz 
lim sup Š P Io, X.) - Y eira ianen) 
noo k-l 


< El u € A(A). (7.2.16) 
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由 (7.26),(7.2.3) 及 上 极限 的 性 质 


limsup(a, — bn} < d => limsup(a, — c4) < limsup(b, — ca) + d, 
"n-25o n—o0 non 
和 不 等 式 0< In(1 + z) € z (z 2 0), 8 
lim sup 1 22 |. _ 人 fein 


1+(À-—1) f, f dw | w 
p (ese ap nee Í ? he, adr Í. fa(zk)das | + r 


sma LY (en fle dz - Í ea E 22. 


nc k=1 mà 
入 一 上 riw) 


利用 不 等 式 1— A7! < InÀ (À > 1), H (7.217), 有 


limsup 1 > [roo - Í Saa] «50 - 0 X9 


A we AÇA). (72.18) 


i Q* 表示 区 间 (1, +oo) 中 一 切 有 理 数 的 集 ， 令 A* = Meg AA), gl, r) = 5(A— 
1) + Ar/(A — 1), 则 由 (7.2.20), 有 


lim sup = » [ra Qt) -上 fini € g(A,r(u)), wE A*S, Ac Q*. (7.219) 
n-roo = k 


4520. BM r > 0 时 ， g(A,r) (作为 A BWRW) Æ À = 1+ Vr/ 处 
达到 它 在 (1, oo) 上 的 最 小 值 g(1 + /rfb,r) = 2Vbr +r. X. g(4,0) 在 区 间 
(1, +oo) 上 递增 且 lima 2149 g(4,0) = 0. HEA wE A* n A(1), WE riw) oo, 取 
As(w) € Q*, n = 1,2,-:: ff A (o) — 1-- V/r()/6. 则 有 

lim g(A(w),r(w)) = 2«/br(u) + r(w). (7.2.20) 


n> +o 
di (7.2.19), 有 
limsup = M jp na -f finas € g(A (v), riw) n—1,2,---. (7.2.21) 
di (7.2220) 55 (7.2.21), 得 


lim sup 1 Y |a. Qt) 一 f fies < 2 br(w) + rlw), w € A“ n A(1). 
n—oo T" k=1 B, 
(7.2.22) 
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X r(w) = oo 时 ，(7.2.22) 自然 成 立 ， 由 于 P(4h*n A(1)) = 1, 故 由 (7.2.22) 知 ， 当 
b> 0BF, (7.2.4) 成 立 . 
4 b=0 时 ， 在 (7.2.19) 中 令 入 = 。 得 


lim sup 一 3» j [is a - Í. fk(ti s. S riw), w € A(e). (7.2.23) 


n+ 


ene (e)) = 1, SE H (7.2.28) 4, 24 b = 0 时 ， (7.2.4) 仍 成 立 . 
) 设 0<A<1l H (7.2.14) 两 边 同 除 以 nà, 得 


k: De f (zn)dzx| Inrn(w) 
liminf L 有 -一 一 一 + 一 | >o. 
TP Br wk > In À in A 

(7.2.24) 

由 (7.2.24) 5j (7.2.2), 有 

2.4.1 n ^ |n Ë + (À 一 1) m fx(zx)dzk| T(u) 

lim inf = (È Is, (Xx) ~ > —— — — |2 m» € AÇA). 
(7.2.25) 


H (7.2.25), (7.2.3), 下 极限 的 性 质 


liminf(as — bn) > d — liminf(an — es) > liminf(b, — cn) + d 
及 不 等 式 nl + z) < z (—1 < z < 0), 有 
ENT 
imit i o [rro f, neon 
一 1 


一 ln 1-4 (A — 1) fp, fela )dz r{w 
> liminf 1 y 人 - f, f ee] m 


noo n — In À 
1 «& f- 0 fg, fs(za)dzk r(w) 
> liminf — — —  — a 一 二 
> Wists 2 ( nÀ Í. flen)der | y 
À-1 riw) 
>b ( —- 1) £T e € AQ). (7.2.26) 


利用 不 等 式 1 一 和 A! < nA <0 &InA«A-1«0(0« X< 1), H (7.2.26), 有 
liminf 工 Y [em - f fides »b(A-1)4 m. w E AJNA). 
ni B. 7 
(7.2.27) 
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设 Q, 表示 区 间 (0, 1) 中 一 急 有 理 数 集 ， 令 A, = eq. AD), AQ. r) = b (A - 1) + 
r/(A — D. 则 由 (7.2.27), 有 


Himinf L > 2 -f l fien > h(r(u)), w € A. n A(1), À € Qu 
(7.2.28) 
E b>0 B3⁄lM3M0<r<bB, BAr) (作为 X BIER) dE A — 1— yro 处 
达到 它 在 区 间 (0, 1) 上 的 最 大 值 由 1 — /r/b,r) = —2Vbr. X h(4,0) = MA- 
在 区 间 (0, 1) 上 递增 上 且 lima opO = 0, (A b) = b[A — 1+ 1/() — 1)] 在 
区 闻 (0, 1) 上 递减 且 lim, y. (Ab) = —2b. XH OF w € A, n A) n D1, 取 
Ta(w) € Q., n 2 1,2,---, db rh (u) + 1 yrl) b. 则 有 


Um. h(Ts(w),r(u)) = -2 b r(u). (7.2.29) 
由 (7.2.28), 有 
liminf L > [r - 上 | Ateodai > h(za(a),r(a)), n=1,2,... (72.30) 
gi (7.2.29) 和 (7.2.30), 有 


lim inf - Y = 一 f finde > —2ybr(w), w € A, n A(1) n D,. 
m (7.2.31) 
由 于 P(A., Nn A(1)) = 1, ÉH (7.2.31) «Il, 234 52 0 RJ, (7.2.5) 成 立 . 
3$ b=0B, r(2)—-O0,co€ Dn A(D. 于 是 由 (7.2/228), 有 


lim inf - Y [> (Xa) -f A 20,w€A(Q)nA()nD, 0< X< 1. 
n= 1 Bs 


(7.2.32) 
由 于 P(AQ) n A(1)) = 1, keh (7.2.32) W, 25 b = 0, (7.2.5) 亦 成 立 . 

易 知 当 7 > 5b 二 0 时 , (A,7) (作为 入 的 函数 ) 在 (0,1) 上 递减 且 lim, or AA, r) = 
—(r+b). 于 是 对 每 个 we ANMA(D)MmDz, 当 r(w) 关 90; 取 和 nw) € Qu, n = 1,2,---, 
使 和 ntw) — 0, 则 有 

lim (As (o), r(u)) = —r(w) — b. (7.2.33) 


H (7.2.28), 有 


lim inf 33 mm (Xx) 一 人 finis 2hs.(u).r(w), n-1,2,--. (7.2.34) 
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由 (7.2.33) 和 (7.2.34), 得 


lim inf - X lr» (Xk) 一 f fidus 之 —r (o) — 5, wE A. A(1)n Da. (7.2.35) 
让 一 Oo Puri B. 


显然 当 rw) = oo PF, (7.2.35) 仍 成 立 . 由 于 P(A, N A(D)) = 1, 故 由 (7.2.35) 知 
(7.2.6) 成 立 . 

推论 7.2.1 t BB 是 直线 上 的 Bored #, 5,(B,w) ARX (1 < k < n) # B 
中 出 现 的 次 数 ， 即 


Sa( B, w) = X Ip(Xx), 


k=1 


则 在 定理 条 件 下 ， 有 


lim sup = y` [s.c u) — 上 fiiius < 2v briw) + rlw) as., 
noco kol 


lim inf = x [sxo 一 Í, d 2—2Vbr(w) as. F Di, 


k-1 
imit D |=.) = Í finn. > -b-—r(w) as. 于 Da. 
证 在 定理 中 令 B, = 日 (k= 1,2,…) BA. 


以 下 的 推论 表明 ， 关 于 Ip.(Xn),n 2 1, 的 强大 数 定律 是 本 节 定 理 的 推论 . 
推论 T.2.2 设 (Xk, k > 1) 具有 密度 fx(zk), k = 1, 2, `... 且 相 互 独立 ， 则 


Jim 32 |in, (XX) - Í . fein =0 as. (7.2.36) 


WE EE (n En) = II feltr) 故 rw) = O a.s.. 于 是 (7.2.38) 可 直接 
k=1 
B (7.2.4) 和 (7.2.5) 得 到 . 


87.3 关于 任意 随机 变量 序列 的 一 类 强 极 限定 理 


设 {Xn,n > 0) 是 任意 随机 变量 序列 ， {irn > 0) 是 一 列 可 测 函 教 ， 本 节 
主要 研究 随机 序列 (f.(X,),n > 0) 的 强 极限 定理 . 

本 节 的 目的 是 要 通过 改进 刘 文 (1990a) 及 刘 国 欣 、 刘 文 (1994) 中 所 用 方法 , 给 
出 任意 随机 变量 序列 的 一 类 强 极 限定 理 ， 作 为 推论 ， 得 到 了 一 类 靳 差 序列 收 雍 定 
理 ， 马 尔 可 夫 过 程 的 强 极限 定理 和 若干 经 典 的 独立 随机 变量 序列 的 强大 数 定律 ， 
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而 已 有 的 车 千 装 差 序列 收 和 分 定 理 和 可 列 非 齐 次 马 氏 链 的 一 个 强 极 四 定 理 是 本 文 结 
果 的 特例 . 本 节 所 用 的 证 明 方 法 的 要 点 是 ， 通过 构造 适当 的 靳 ， 然后 利用 Doob $ 
收 敏 定理 来 和 证明 某 些 极限 a.s. 收 黎 .本 节 的 主要 结果 对 随机 变量 序列 除 矩 条 件 外 
没有 任何 要 求 . 

定理 7.3.10(9] X. 55 LEM. AW 1997) 设 (X,,n 20) 是 任意 随机 变量 序 
5j, (f.lz).n > 0) 是 一 列 可 浏 函数 ， 记 X" = {Xo,… Xs); 设 {ann > 0) 是 递 
增 的 正 数 序列 ， 设 pn(z) 是 一 列 凡 上 的 非 负 侦 函 数 ， 使 当 || 增加 时 


ex(z)/|zl Í, en(z)/2? 1. (7.3.1) 
设 
A= fu : V Efes(fa( Xn DIX" palan) < +}. (7.3.2) 
nzl 
则 有 
S (f.(x,) -EELfn(Xn)IX” 1)/an 在 A 中 a.s. 收敛 . (7.3.3) 
n-1 
车 进一步 有 a. T oo, 则 有 
dim. > >: fu Xa) - Elfal Xa) X” = 0 as. + A. (7.3.4) 


证 X n20,f2(X4) = fa(XaM(AQG)E S an). 8 k AEREN, id 


Z, = pn(fn( Kn) pn on), 


Ak = Í. : Y Eje iX" < k}, (7.3.5) 


n=1 
ndi 
Tj = min fn in > 1, E[Z4X'7] > e}. (7.3.6) 
i=1 
当 (7.3.6) 右边 集 为 空 集 时 ， 令 T boo. XXE Ya Za = Yea n > n)Z,. 因 
为 Kri 2 n) E o(X"71) 可 测 的 ， 由 Z, 的 非 负 性 ， 有 


($ z.) = F [ > Ilr > n)Za) = ef > E|f(r. > 2, jx*-1]) 


- gl Y Iire > n)B|2,lx"-1]) = zf > B|Z,Ix"-11) < k. (7.3.7) 


n=l 
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= DE = too) > z, ern = 十 co) > Za} 


< z( 2.) < k. 


n=l 


由 (7.3.1) 知 ， 当 jel 增加 时 ， pie) 增加 ， 由 (7.3.8), 有 


> PUAKUZQG) £ f,(X.)) = S? f 


nzi Avk([fa(X.)|>aa) 


3 (fa(X 
«f Emde ap < yf LLL 
nay Asila Xa) >a) Pr lan) 


n=] 


于 是 由 Borel-Cantelli 53|% P(A:(f*(X,) Z fal Xn) io} = 0. 于 是 有 


SQQ) — (X. /as fE Ax P as. HIC 


n=l 


由 于 4 = UrAhn, H (7.3.10), 有 


oo 


SS OG) - faUG))/as. E A rf as. Mrd 
n=l 
设 
= (fh(Xm) E(fz, (XA) X 7710/2, m 2 1. 
it à= 1, -l, 定义 随机 变量 如 下 : 
exp b Y Y.) 
£,(A)  —————R22L—— nl 
[[ £eotv«nx"7-j 
mw=1 


旭 (t (n 21) ER. SEE L. HT 


exp( AY4) 


t4, (À) = iua (À) Blexp{ AY, ) X"-1]: 


(7.3.8) 


(7.3.9) 


(7.8.10) 


(7.3.11) 


(7.3.12) 


(1.3.13) 


(7.3.14) 
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É talà) 8 Efexp{àYn X] 是 o(X771) 可 测 的 ， 有 


Elexp[AY,,)|X"”2] 


Et, (4) X771] = 加 -1 (à) E[exp(AY, 4 X^-1] = n-i (à) 8.5.. (7.3.15) 


因此 (6,0), > 1) RB, X Ett. 0)| = Et.) = Et) = 1, 于 是 由 Doob Rik 
HERBA 
Jim tn(X) as. EHER. (7.3.16) 


由 不 等 式 
0«e*—1—zz,el"l, vx € R. (7.3.17) 


并 注意 到 |Y,,| < 2, ElV,|X"-1] = 0 aa. 及 
E[V2|X"7] = E|[(fa(X,) ~ E[fa( X5) AX an) lX] 


= (ERX a) IXY] - (ERAAI aa 
€ BIAXa) IX™ ]/an as 


有 
0< E|exp(XY,)|X"-1] — 1 = Elfexp{AYa} 一 2 一 区 ”3 

< BA Ye oli x71) ç PEYRA) < PEAX) X a ass. (7.3.18) 
由 (7.3.1) 知 当 |z| < an 时 有 z2/as < pn(z)/pn(an), 所 以 有 


(Xn? or) i en RU) 
aa 7 Wa) — eum) ` (7319) 
由 (7.3.18) 与 (7.3.19), 有 


a Eles(fa X4))X"!] as.. 


0 € E[exp[AY,)]X" 1] -1&e la (7.3.20) 
由 (7.3.20) 5 (7.3.2) 有 
Y Ele Y. )X*71] - 1) 在 4 中 aa cl (421) 


n=l 
或 等 价 地 有 
I[ Elep(AYaHX" 1] Æ A th a.s. dicit. (7.3.22) 
n=l 
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由 (7.3.13). (7.3.16) 与 (7.3.22), 有 
Jim exp b Y Y.) 在 4 中 as. PELAR. (7.3.23) 
m=1 


由 于 上 式 对 和 = 1,-1 均 成 立 ， 所 以 有 


Y Y, = Y (f; (X,) — E[f:(X,)|X"-1])/a, 3E A Bas (7.3.24) 
n= 


n=l 
H (7.3.1) 8, 4 jz| > an 时 有 |z|/a, < vn(r)/ es (an). 所 以 
I(E[f,(X,.)|X"-1] — ERAAN] an] = LEX) — f500)/a« X" | 
€ El|f.(X,) = f20G)l/a«|X" ^] = ElGfa CX2)/22) (f Xn)| > on)|X™ 
€ E[(on(fa(X2))/en(a2)) (Ifa CXs.)] > a.) X771] 
< E[ps (s (X.))4X" pnlan) as. . (7.3.25) 
由 (7.3.25) 5 (7.3.2), 有 
SEU OG)IX?71] - EUfz(X4)X77!])/as 在 A 中 a.s. 收敛 (7.3.26) 


由 (7.3.11), (7.3.24) 5j (7.3.26) 知 


Y fa(X2) - EU. QG)X77!]/as 在 A 中 as. fk fk, 
n=l 
即 (7.3.3) 成 立 . 
车 进一步 有 0 < a, Í co, H (7.3.3) 与 Kronecker 引 理 知 (7.3.4) 成 立 ， 证 毕 . 
推论 7.3.1 在 定理 7.3.1 中 ， 如 果 作 为 条 件 的 (7.3.2) 换 为 以 下 条 件 : 


y^ Zies Us CJ) a < +eo， (7.3.27) 
Xi " 
> s OG) — E[f,(X,)IxX" Ct] /a,, as. ks. 《7.3.28) 


车 进一步 有 0 < an t oo, 则 有 
im 二 Y (fo(X&) - Elf Xo)X 7711) =0 a. (7.3.29) 


noo G 
T m-l 
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证 由 于 (7.327) 可 表示 为 


Y FUR SG P < +00, (1.3.30) 
由 v. 的 非 负 性 ， 有 
Y Fes T a.s. k ét, (7.3.31) 


即 P(A) = 1. 由 定理 7.3.1, 即 得 本 推论 . 
推论 7.3.2 (Chung) 设 {Xn n > 0} 是 独立 随机 变量 序列 ， o, 及 an 如 定理 
7.8.1. 如 果 


Y Eles(Xs)l/en(a«) < +, (7.3.32) 
n-l 
则 有 _ 
y` IX. — E(X«)) a.s. r. (7.3.33) 
n-1 ^" 


如 果 进 一 步 有 a, 1 co, 则 有 


NER. 
lim al > l: — E(X;) 20 a.s.. (7.3.34) 


这 就 是 Chung (1974, p.124), Petrov (1975, p.267) 和 陆 传 荣 、 林 正 炎 (1987, 


p.150) 中 的 经 典 强大 数 定律 . 
推论 7.3.3 设 {Xn n > 0) 是 鞭 差 序列 ， ypn 与 mm 如 定理 7.3.1. W 


[NS Eles(X,)|X"-'] 
A= fu ; > onlan) < +o}, (7.3.35) 
则 
> Ža 在 4 中 as. keak. (7.3.36) 
n-1 ^" 
# ün t oo, 贴 有 n 
dim — Xi=0 a.s. T A. (7.3.37) 
? i=l 


证 在 定理 7.3.1 中 取 falt) = z, 注意 到 EX) X.T] = 0 as, 由 定理 7.3.1 
即 得 推论 7.3.3. 
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推论 7.3.4 (Chow 1988, p.249) 设 {Xn n > 0) 是 一 L, 935FF3J, HO < 
an 1 oo, 则 
dip a x =0 a.s. + A, 


其 中 A= fu eU azr E[| XI X771] < vba € [1,2]. 

证 在 推论 7.3.3 中 取 onfz) = |z], pE [1, 2j, Bp eS. 

推论 7.3.5 (参见 陆 待 荣 ， 林 正 炎 1987, p.294) {Xn n > 0) 是 一 平方 可 积 
B XS. ik S, = Y i, MER 4 = Ë om LEIX21X771] < +o} 上 Sy 
a.s. K. 

证 在 推论 7.3.3 中 取 enr) = z?, aa =1 即 得 . 

推论 T.3.6 ik {Xn n 20) 是 一 马尔 可 夫 过 程 ， 记 {z),wnfz), 0< a, Too, W 


定理 7.3.1. im 
y^ Elest^ GI E| [ext US X4))] 


ie UT (7.3.38) 
M Vk > 1, 有 
Y: Hal Xn) - Elf OG)IXs aJ). as ikat (7.3.39) 
n=] ^ 
和 
m 二 E Us) — E[fs(X«)|Xz |Y — 0 a.s., (7.3.40) 


其 中 Xonni 为 常量 . 
证 MR (X,n20)4—B5IEx B, MA Elfa Xn) X] = E[f,(X,)|X,-.|, 
则 由 推论 7.3.1, 有 


SE Hal Xn) - Ef (X) X, -as ict (7.3.41) 
和 fi 
Jim. — 3 {ifm Xa) — Elf XIX. 由 =0 as, (7349) 


Ep34 k =1 时 (7.3.39) 55 (7.3.40) 成 立 ， 

完全 类 似 于 刘 国 欣 、 刘 文 (1994) 的 定理 73.1 的 证 明 ,， 可 得 当 关 > 1 (7.3.39) 
与 (7.3.40) 仍 成 立 ， 证 毕 ， 

如 果 {Xn,n 20) 是 在 5S = {1,2,…} 中 取 值 的 非 齐 次 马 氏 链 ， 则 推论 7.3.6 
仍 成 立 ， 于 是 由 推论 7.3.6 可 得 刘 国 欣 ， 刘 文 (1994) 的 定理 ， 


: 286 . 强 偏差 定 更 与 分 析 方 花 


定理 7.3.2( 刘 文 、 杨 卫 国 、 张 丽 娜 1997) 如果 定 理 7.3.1 中 的 假设 (7.3.1) 用 
如 下 的 假设 代替 ， 当 |z] 增加 时 


palz) $, 2. 4. (7.3.43) 
设 
= v^ Eles(X«)|X"7 
l Ale > Gala) ~ + 中 (7.3.44) 
WS Ó 
> Ža 在 A 中 a.s. rak. (7.3.45) 
n=1 
ka A Elpn(Xn)] 
Elpn( Xn 46 
> pnfan) < +œ (7.3.46) 
时 有 
x = 一 as B (7.3.47) 
=1 ün 
证 š X* = X,I(|X,| < an), 完全 类 似 于 (7.3.11) 的 证 明 ， 可 得 
> zs -X; Æ Ap a.s. Br tt. (7.3.48) 


BA, 与 7% 类 似 于 (7.3.5) 5 (7.3.6) 所 定义 ， 由 (7.3.43) 有 


IXš|/a,, < ea(X2Y/en[as) < o, (X,,.)/ on (as). (7.3.49) 
完全 类 似 于 (7.3.8), 有 v 
f Pal Xn) n AP < k. (7.3.50) 
n=] As Pnlan) 


由 {7.3.49) 与 (7.3.50), 有 
[Xal IX: 
f. (x " Zila = 二 人 TAP <k. 


TELE, Ža 在 Ak 中 a.s. 绝对 收 敏 ， 因 而 在 A 中 as i H AULA. 
故 有 


X dc A as 收 化. (7.3.51) 
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由 (7.3.48) 5 (7.3.51) 可 得 (7.3.45) Hi xr. 

由 于 当 (7.346) 成 立时 有 P(A)= 1, 故 这 时 (7.347) 成 立 . 

推论 7.3.7 (Loéve, M, Chow 与 Teicher 1988, p.117) 设 {Xn,n > 0) 为 任意 
随机 变量 序列 ， 如 果 存 在 r, € [0,1] (n = 1,2,.…), 使 得 Lr EIXnj"* < +oo, 出 
y, X, a.s. 绝对 收敛 

证 考查 随机 变量 序列 (|X.|,n > 0), 取 pn(2) = |e”, an = 由 定理 7.3.2 
即 得 . 
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关于 树 上 马尔 可 夫 链 场 的 早期 研究 见 Spitzer (1975) 及 所 引文 献 . 树 模 型 近年 
来 已 引起 物理 学 ， 概 率 论 及 信息 论 界 的 广泛 兴趣 ， Berger 与 时 中 行 研究 了 树 上 G 
不 变 随 机 场 的 篇 率 存 在 性 { 见 Berger 与 叶 中 行 1990), 之 后 时 中 行 与 Berger 又 研究 
THLE PPG 不 变 随 机 场 的 遍历 性 及 Shannon-MeMilan 定理 ( 见 叶 中 行 与 Berger 
1996), 但 他 们 的 工作 中 的 收 敏 是 依 概 率 收 敏 ， 在 本 章 中 我 们 将 研究 -- 类 无 限 树 上 
马 氏 链 场 的 若干 as. 收敛 的 极限 性 质 . 


88.1 广义 Bethe 树 上 马尔 可 夫 链 场 的 若干 强 极限 性 质 
$8.1.1 基本 概念 


本 节 引 进 广义 Bethe 树 和 广义 Cayley 树 的 概念 . 我 们 首先 证 明 这 种 树 上 的 马 
氏 链 场 关于 状态 序 侦 出 现 频 率 的 一 个 强 极限 定理 ， 并 由 此 导出 Bethe W TB.w 及 
Cayley 树 Toy 上马 氏 链 场 的 若干 强 极限 定理 ， 其 中 包括 as. Ú BJ Shannon- 
McMillan 定理 ,在 证 明 中 采用 了 作者 提出 的 研究 概率 论 强 极限 定理 的 新 方法 CH, 
刘 文 1990a), 并 对 此 方法 有 所 改进 ， 使 它 适应 于 随机 场 的 情 祝 . 

设 工 是 一 个 无 限 树 ，z 去 y 是 工 中 任 两 个 项 点 ， 则 存在 惟一 的 从 > 到 y 的 路 
径 z= 21;22 Zn y, 其 中 z1,22,: ,zm RS, H z; 5 zi+1 AARAM 
点 ，m 一 1 称 为 z £y 的 距离 ， 为 给 工 中 的 顶点 编号 ， 我们 选 定 一 个 顶点 作为 根 
顶点 (简称 根 ), 并 记 之 为 o. 如 果 一 个 顶点 与 根 顶 点 的 距离 为 n, 则 称 此 顶点 为 第 
层 上 揭 顶 点 .为 统一 起 见 ， 根 项 点 也 称 为 位 于 第 0 层 上 的 项 点 . 

定义 8.1.1 设 工 是 一 个 具有 根 顶 点 0o 的 无 限 树 ， (N,.n > 1) 是 一 列 正 整 
Jk. Wn (n0) 上 的 每 个 项 点 均 与 第 中 +1 层 上 的 NS; THAR, W 
# T XI X Bethe 树 或 广义 Cayley Bf. 

设 N 是 正 整 数 . 如 果 N = N + 1, ERMAR n > 2, N, = N, WETA 
Bethe 树 ， 记 为 Tp,w (Too 如 图 8.1 所 示 ); 如 果 对 所 有 的 n> 1,N, = N, ER T 
是 Cayley 树 ， 记 为 Tow. 

LF THEIR X Bethe Har X. Cayley W, TY 表示 含有 从 第 0 屋 { 根 顶 
A) $058 n 层 的 所 有 顶点 的 子 图 i |B| 表示 了 的 子 图 B 的 顶点 数 ， 并 令 No = 1, 
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Du 4 
[r?| = Y5 No --- Nk. (8.1.1) 
k= 


A (miL < 了 < Ni'… Nn,n > 1) 表示 第 m 层 上 的 第 了 个 顶点 ， 为 统一 起 见 ， 也 
记 根 顶点 o 为 (0.1). 


(2, 1) (2, 6) 第 二 居 
(1,3) *- 
根 


8.1 Bethe 树 Tg. 
irb EERS, S= {1 2 里 ;有 = ST, w = w(:) € Ñ, 其 中 ol 是 定义 在 
了 上 在 S 中 取 值 的 冰 数 ， 大 是 中 的 所 有 有 限 维 柱子 集 产 生 的 最 小 o- 代数 ,. u 
是 可 测 空间 (F) EBENE. X= {X,t e T) 是 定义 在 (0,7) Ed) b Bh 
BUiB. MHEN w= ww(') EN, 定义 


X,(o) = w(t), t e Tm), (8.1.2) 


yT” +) = (X, tc Tí" u( x77 = E zT) = Me TON 


FS] E BUR FEE y WAEA T 上 的 马 氏 链 场 的 一 种 定义 ， 它 是 马 氏 
链 场 古典 定义 (HE Feller(1957), p.338) 的 自然 推广 . 

定义 8,.1.2 iğ P= (PUH) Æ S ERA ERIE, g= (q(1),:: ,q(5)) 
R S 上 的 严格 为 正 的 分 布 ， HP 是 (Q,Z) 上 的 概率 测度 ， 如 果 


HP(zml) = q(zoa), (8.1.3) 


f—-1 No- Nmt1t 


up(z" ^) = q(zaa) [T I [I Plemeislemi), n21, (8.14) 


m=0 i=l j=MW,+J0(i—1)+1 


- 290 - 强 偏差 定理 与 分 析 方 法 


则 称 up AMHER P 及 分 布 q 决定 的 树 T 上 的 马 氏 链 场 ， 

注 8.1.1 由 (8.1.3) 5j (8.1.4) 定义 的 AP 也 依赖 于 q. 在 Spitzer(1975) 及 
Berger 与 叶 中 行 (1990) 给 出 的 定义 中 4 被 取 为 由 忆 决 定 的 平稳 分 布 7 = (7(1),…， 
n(b)). 故此 处 的 定义 稍 有 推广 . 

Æ 8.1.2 设 对 所 有 的 n> 0, Na =1, 并 记 (n,1) Æ n, W| H (8.1.3) 5 (8.1.4), 
有 


n—l 


HP (zF) = Hp(Xo = zo, Xn = m.) = q(zo) II P(smniem). 


m 
这 就 是 马 氏 链 柱 集 的 分 布 . 
38.1.2 若干 引 理 


引 理 8.1.1 Bt ua 5j uo 是 可 测 空间 (0, Z) 上 的 两 个 概率 测度 , DEF, {mnn > 
1) 是 一 列 正 值 随机 变量 使 得 


lim inf me pe^ p1- aT D, (8.1.5) 
则 
lim sup 二 In e" a! «0 m-as f D. (8.1.6) 
特别 地 ， 如 果 取 z, [709], 则 有 
lim sup TT poa) «0 pi- a.s. (8.1.7) 


IT (XT) 7 


证 ÉE Z, = p( XT) (XT). £5 E,..(Z,) < 1, rh En 表示 关于 n 
的 数学 期 望 ， Ye > O, 由 Markov 不 等 式 有 


Y pi([T 47! 1n Z, > e) < S exp(- —|T'(z)|e) < co. (8.1.8) 
n=1 
因为 >0 是 任意 的 ， 故 根据 Borel-Canteli 引 理 由 (8.1.8) 知 (8.1.7) 成 立 ， 显 然 
(8.1.5) 与 (8.1.7) A &r (8.1.6). 
B k,l € S, S(ku) & XT" -(X,te T mp kit, S. lo) 是 随 
机 变量 序 侦 


(Xo X041), 0 < m < n—1,1 < i < No It ` Nga, Nm+1(i—1)+1 < j < Na+, n 之 1 
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PRAF (kD 的 个 数 ， 即 


n No--Nm 
Sn(k,w) = Y^ 8 (Xm j), (8.1.9) 


"m-0 j=1 


n—1l No-- Ny. Nui 


Salk b= > $5 CC (8.1.10) 


m=0 i=l j=N,;-+.(i—1)+1 


其 中 óx() 是 5 上 的 Kronecker ó E. + 


b 
on(k, w) = REMO: w). (8.1.11) 
j=l 
A ， 
355 (5o) = [769], (8.1.12) 
k=1 
b 
> Sali, k uw) = Sn(k w) ~ ó, (Xo), (8.1.13) 
r-l NoNm, 
anlk) =Y 》 N¿+óy(X,.), - (8.1.14) 
m=0  jzl 
b 
Y anlk, w)  [T09| — 1. (8.1.15) 
k=1 


EL FEBRE AP EHME P = (POR) Rati a 决定 的 树 了 上 的 马 氏 链 
场 . 
引 理 8.1.2 WKAR k ES 有 


. e 9n(E w) 
noo IT] 


> 0 gp- a.s. (8.1.16) 


证 设 0< 和 <1 为 常数 ，Q@ = (Qld) ij ES 是 另 一 随机 和 矩阵， 其 中 对 所 
有 的 i€ 5, 


Qik) =, Q(jl) = 3d z k. (8.1.17) 


用 uq 表示 由 Q 及 分 布 g 决定 的 树 T 上 的 马 氏 链 场 ， 则 


n—1 No-- Ny, Magi 


ngolet”) = g(xo,1) II II II Q(zm4ijln4) ^21. (81.18) 


m=0 i=l j=N,,+x(t—1)+1 
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令 
az = min(P(k|i),i € S), by = max(P(k|i),i € S]. (8.1.19) 


由 (8.1.4), (8.1.1), (8.1.15) 及 (8.1.17)—(8.1.19), 有 


na (X77). TIT [guo 
up(XT) ri PG) 


_ b À S, (i. kae) 1—A Onli wh- Sni ks) 
(Hk P(k|i) 1- P(k|i) 


、 II b S, (E, hau) 1—-À Fy (i) Sn (Eb uw) 
b, 1— as 


i=l 
A Vn). UCO). yq _ y y ITU I Sh nu) Aa (X0) 
= (>) G =) (8.1.20) 
利用 引 理 8.1.1 rH (8.1.20) 知 存在 A( 和 ) € F, ppl A(A)) = 1, 使 得 
1 In 20729 (1 — ax) 
lim sup me fre?" n(k,u)]In 对 < n — aÀ (1-3) X) ,w € A(A). (8.1.21) 


B A € (0,04) 并 注意 


A1 — Gk) Qj 
0< rO A «1 0€ Y <1, 
H (8.1.21), 有 
1—ag& A(1 — ay) 
> — . .1. 
liminf ccr 可 Salk, w) > hie], Wl À) >0, “E€ A(ÀA) (8.1.22) 
故 (8.1.16) 成 立 . 
引 理 8.1.3 如 果 存 在 正 整数 N,LN* 与 d, EA n> dit} Ne < N, < N*, 
则 ) 
. On(R, u Ny, . a Snik w) 
lim inf "EPOD > = limin [re >0 pp- as., {8.1.23} 
Sa(k;u) — N, .. nlk, w) 
— > — .1. 
lim inf pex > N imin TA ， (8.1.24) 
. ca(k,w) |, N* S, (Kk, w) 
lim sup — IT] < 一 N. lim sup eL. VAN (8.1.25) 
Sn{(k,w) w) anlk, w} 
CN —— —. .1. 
limsup WU] < N. -limsup [rej (8.1.26) 
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证 由 假设 易 知 ， 存 在 有 限 数 a,b 及 有 限 随机 变量 alw) 与 8(w), 使 得 
a+ N.|T(R-1)| < [P] < b+ N*[T(7 |, (8.1.27) 
a(w) + NS, (ku) < es (Eu) € N* Snik w) + B(w), (8.1.28) 


故 有 
anlk w) > alw) + N S4 (ko) 
[re * b+ NT 
显然 利用 引 理 8.1.2 即 可 推出 (8.1.23}， 应 用 不 等 式 (8.1.27). 5j. (8.1.28) 类 似 可 证 
(8.1.24)—(8.1.26). 
引 理 8.1.4 设 0< p < L{enn > 1} 是 一 列 非 负 实数 ， 如果 存在 实数 列 
{ark > 1} 使 得 p < ax, «lox p, H 


Cu _ 1 一 cn 
liminf (=) (==) >1, (8.1.29) 
n-oo p 1-p 
则 
lim inf cn>p-. (8.1.30) 


如 果 存 在 实数 列 (Brk > 1) 使 得 p< ñ, 1,8, 一 p, 且 


: 2)” (14) 
tim sup | — < 1, 
msup (Ê 1—p _ 


则 
lim sup en < p. 
证 d (8.129), 4 
. a(l- p) 1 一 加 
— PF <] m, 
limsup enin r Ta) $ n 
因为 
o< TP) o< 1P <1, 
p(1— ar) 1- Gk 
故 有 ( ) 
.. 1 | arll- p 
liminf e, > |in 一 一 -一 | /In =. 8.1.31 
ne | 1-a,|/ Pll — ox) (6.130) 
A í ) 
: l1-p arll- p) _ 
um h 2| Ph Ta) =p. (8.1.32) 


由 {8.1.31) 与 (8.1.32) 直接 可 得 (8.1.30). 类 似 可 证 引 理 的 第 二 部 分 . 
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$8.1.8. 状态 与 状态 序 偶 频率 的 若干 极限 性 质 
与 Shannon-McMillan 定理 


定理 8.1.1{ 刘 文 、 杨 卫 国 2001) 如 果 存 在 正 整数 N,,N* 与 d, Hnd 
时 有 N, < Nn < N*, WAKAK kies, A 
Salk, Lo) 


noo oan(k, w) 


证 O<) X<1339 R, D= (DUH) ij € S 为 另 一 随机 和 矩阵， 其 中 


=P(I|k) pp- a.s. (8.1.33) 


DA =% Doh = SEES, ist 


D(ji) = Pli), i*k, jes. 
用 up 表示 由 D 及 分 布 q 决定 的 树 T E hp Ct, HJ 


po( X1) [209] S, (Gm) _ b [Dopo] Snik jw) 
pp(XT™) -II PG) i I P(j|k) 
À Sp (ku) 1-AÀ BO (ks) Snik, t ur) 
= E l 一 Fail (81.34) 
H (8.1.23) 及 引 理 8.1.1 知 ， 存 在 Alk, l, A) € F npl A(5,1 à)) = 1, 使 得 
qi] 125 0) 
lim sup [| <1, «€ Alki, à). (8.1.35) 


取 o; € (0, PUIK), &; € (P(I[k), 1), 2 = 1,2,---, 使 得 o;  P(I[k), A; — P(Uk)(i — 
oo), 并 令 A.(k,D) = (2, A(k,1, ou). 则 由 (8.1.34) 与 (8.1.35), HMA š > 1, 有 


ai S5 (kb) en (kao) 1- ai 1—54 (ko) au (ku) 
nep [sie [img] bp 
(8.1.36) 
利用 引 理 8.1.4 由 (8.1.36), 有 
limi iat Beb > > P(IE), w € A (kl). (8.1.37) 
令 A" (k, D = N A(k, i Bi). 类 似 可 证 
lim sup A < PE), v € A0). (8.1.38) 
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因为 pP (A.(k,l)) n up( A (RD) = 1, 故 定理 成 立 . 
推论 8.1.1 在 定理 8.1.1 的 条 件 下 有 


S, (k,1,o) 
k 


lim inf u) > zZN.P(|k) jp- a.s., 


n Sn 1 yt 
») < N*P(lk) jp- ass. 


特别 ， 如 果 工 是 Bethe 树 Tp,w 或 Cayley BÍ Tes, WI 


SR, h w) 


lm up TAPUA aras. (8.1.39) 


证 由 定理 8.1.1 及 (8.1.14) 直接 可 得 . 
定理 8.1,2( 刘 文 、 杨 卫 国 2001) 如 果 工 是 Bethe Bl Tp,w 或 Cayley 树 Tow， 
MANA k = S. A 


Salk w) _ 

ELA Frj = v(k) EP- a.S., (8.1.40) 
Ga (ku) _ 

Jim TX ^ TK) gp- as., (8.1.41) 


处 不 = (mn(1),… (b) 为 由 卫 决 定 的 平稳 分 布 . 
证 + 

D Sanli, jw) " b 2. 

Hj) = (o: lm So m NPUD B = f) H3. 


ij-1 
H (8.1.39) 有 up(H) = 1. 4 we H, Wi 
Salji ku) — Snil )P(klj) = Onli, hu), i (g. 07. 
此 处 anli kw) — 0(n — oo). 将 上 式 中 的 个 等 式 (j = 1,2,--. ,b) 相 加 ， 并 利用 
{8.1.13) 有 


b b 
S. (e) - Š N Sa-l w) PAI) = Y anlik w Snl) + (Xo). (81.42) 


j=1 j=1 
由 (8-1.42) 5 (8.1.12), 可 得 


Sw) 


lim DU TO Yr mes ijw)MP(kj)-0, weH. (8.1.43) 
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利用 P|E)(k = 1,2,… ,b) R (8.1.43) 中 的 第 个 等 式 , 将 它们 相 加 ， 并 再 次 利用 
(8.1.43), 得 


b 
! 1 , Sarili w) 
lim {ze 2, Ss (PI - Tn j 


n-2)32 


NESSUN 1 S S, AG, w) P(EII) PG) 
全 = pe 2 2. a Ge) P(k|g) PCIE) 


i (Sao) 1 oe | 4 
一 umi [T+] B [T(-1)| 2,5 -ifj w)P® (ili) = 0, wE H, 


此 处 PUD i| Y (5 为 正 整 数 ) EMALE P = (PUO 决定 的 六 步 转移 概率 ， 由 
归纳 法 有 


b 

. 1 . 1 O Ra. 

Ja. pere e en 2 GAPMD =0, ec. 
3 一 


(8.1.44) 
Ed 
anli) = min(P^*D(ij),j € S), Aali) = max(P*9(ij),j e S). 
由 (8.1.44) 5 (81.12), 有 
lim sup pem juu) SB), we (8.1.45) 
liminf pr nn w) > arli), ut R. (8.1.46) 
因为 lim POHG) = (i), dk 
Jim anli) = lim Bi) = z(i)- (8.1.47) 


由 (8.1.45) 一 (8.1.47) 可 得 (8.1.40), (8.1.41) 可 由 (8.140) 与 (8.1.23)—(8.1.26) 推 

i 推论 8.1.2 在 定理 8.1.2 的 条 件 下 有 

dim. A 2 —a(R)PÜ|k) up- as. (8.1.48) 

WE (8.148) 由 (8.1.33) 与 (8.1.41) 可 得 ， (8.1.49) H (8.1.48) 与 (8.1.40) 可 
得 . 


= P(lk) jp- a.s.. (8.1.49} 
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定理 8.1.3( 刘 文 、 杨 卫 国 2001) iE T Æ Bethe 树 Tg, 或 Cayley 树 Tow, 
fia y) 是 定义 在 S? LIAR. 令 


n—1 Nge- Noii 


Y, (u) = = y` y y` ni Xn) (8.1.50) 


m—0 i-i j=Nm+1(i-1)+1 


m e) -PP (Ik) jp- as.: (8.1.51) 


im. [re zii 


WE H (8.1.50) 与 (8.1.10), 有 


n—1 Noe Nm+1i 


b b I 
=) 2 Y XY /(kDL(KX, Jh(X, +G) 


m=0 i=l  j2Na.i(i-l)rlk-li-l 
b b 
=Y Y f(k, 0s, (5,1). (8.1.52) 
k=1 i=1 
由 (8.1.52) 与 (8.1.48) 即 得 定理 的 结论 . 
W p EF 上 的 概率 测度 ， 令 


fa (a) = -rz i — In at xr) 


f. (oo) KART 的 子 图 T2) 上 关于 此 193883 e. 如 果 E = Hp, 则 由 (8.1.4), 有 


n—1 Non Nm+1i 


fal) = -Fo [n 4( (Xo 4) t y X y` In P(Xms1 i Xm]. 
fa 一 各 i=l 3=Nm+1(i—1}+1 
(8.1.53) 


fn(w) 在 一 定 的 意义 下 收银 于 常数 (L, Wak, WERE, as IX) 称 
为 Shannon-McMillan 定理 或 信 源 的 渐 近 均匀 分 割 性 (AEP). 关于 整数 集 上 信 源 的 
Shannon-McMillan 定理 已 有 广泛 和 深入 的 研究 (参见 刘 文 , 杨 卫 国 1995a 与 1996a 
及 所 引文 献 ). 近年 来 ， 由 于 信息 论 发 展 的 怖 要， 大 们 开始 研究 随机 场 的 Shannon- 
McMillan 定理 (参见 叶 中 行 与 Berger 1996)， 利 用 定理 8.1.3 容易 得 到 Bethe Bj 
TB,w 和 Cayley 树 To y 上 上马 氏 链 场 具有 a.s. Wr 38 Shannon-McMillan 定理 . 

定理 8.1.4( 刘 文 、 杨 卫 国 2001) 设 up 是 Bethe 树 Ta,N 或 Cayley 树 To,n 
上 的 马 氏 链 场 ， 天 (ww) 由 (8.1.53) 定义 ， 则 


b b 
lim fn(w) =- $ > ,n(k)PQIk)In PU) up- as. (8.1.54) 


k=1 i=1 
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证 在 定理 8.1.3 中 令 f(c,y)= -la P(g|z), (8.1.54) 可 直接 由 (8.1.51) 得 到 . 

注 8.1.3 如 前 所 述 , 时 中 行 与 Berger 研究 了 树 上 PPG 不 变 随 机 场 的 Shannon- 
MeMillan 定理 , [E fi P] 0 £5 SR. vn RRALLA FORE UC 98, 他 们 猜测 这 些 结果 对 a.s. 
KAERT. BDXUIueR PPG 不 变 随机 场 的 特殊 情况 ， 所 以 定理 8.1.4 部 分 
地 解决 了 时 中 行 与 Berger 的 猜测 . 


88.2 二 和 进 树 上 奇偶 马尔 可 夫 链 场 的 若干 强 极限 定理 


$821 引 È 


本 节 建 立 了 二 进 树 上 奇偶 马 氏 链 场 关 于 状态 和 状态 序 钢 出 现 拓 率 的 若干 强 极 
EEH, Rope EL. 下界 的 一 个 估计 式 及 Shannon-McMillan 定理 的 
一 种 膛 近 ,证明 中 将 研究 马 氏 链 强 极限 定理 的 一 种 新 的 分 析 方 法 推广 到 马 氏 链 场 
的 情况. 

设 了 是 一 无 限 树 ， N 为 正 整数 ， 如 果 第 n(n > 0) 层 上 的 每 个 顶点 均 与 第 
n+1 层 上 的 N 个 项 点 相 邻 ， 则 此 树 为 Cayley 树 Tow. 为 简便 起 见 ， 本 章 只 讨论 
Tc, 并 简 记 为 T, 全 也 称 为 二 进 树 . 设 工 % ERRAT 的 从 第 mS) n ELE 
顶点 的 子 图 Lm = Ln 表示 含有 mm 层 上 所 有 项 点 的 子 图 T™® = L8 表示 含有 从 
根 项 点 到 第 n 层 的 所 有 顶点 的 子 图 ， Te 与 Te 分 别 事 示 含 所 有 偶数 层 中 的 所 有 
顶点 和 前 % 层 的 偶数 晨 中 的 所 有 顶点 (包括 根 顶 点 0) 的 子 图 ; T° 与 To 分 别 表 
示 含 所 有 奇数 层 中 的 所 有 顶点 和 前 n 晨 的 奇数 层 中 所 有 顶点 的 子 图 . (0,3) €E 
mi n 层 上 的 第 了 个 顶点 .为 统一 起 见 ， 也 记 根 顶点 为 (0,1). 易 知 (n,j)(n > 1) 
有 (nr12j-1,( +1,2j) Æ (n — 1,[;/2]) ZABT. EE [a| 表示 不 小 于 
a 的 最 小 整数 ( 见 图 8.2). 


(8,8) ZZE 


(2,4) 第 二 层 


(0,1) 


图 8.2 二 进 树 
为 方便 起 见 ， 了 人 的 子 图 B 所 含 顶 点 的 集合 仍 用 B 表示 ， 并 用 |B| XR B h 
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IL 22^, {TD| =t _ 1, (8.2.1) 

R S= {0,1} 0 =T, w= o(:) € 人 0, 其 中 o() 是 定义 在 TT 上 在 S PEHA 

数 ， 大 是 自 的 所 有 有 限 维 柱 集 产 生 的 o- 代数 ，j 蚌 可 测 空间 (0,7). 上 的 概率 测 
H, X=(X ite T) 是 定义 在 (9, 下) 上 的 坐标 过 程 ， 即 对 任何 w=w('] En, 定义 

Xw) = wlt), te T. (8.2.2) 


iu 


X7" -(Xute Ty MXT? = a7™) = aT). (823) 


Spitzer(1975) 中 给 出 树 上 奇偶 马 氏 链 场 的 如 下 定义 . 
定义 8.2.1 W Q* = (QGH) = (QG) ii € 5, 为 两 个 严格 为 正 的 随 
机 和 矩阵， m^ — (r°(0),zm°(1)) & m° = (1?(0),«(1)) 是 3 上 的 两 个 严格 为 正 的 概率 
分 布 ， 并 且 满 足 
THG) =R (l, Yii Es. (8.2.4) 
令 


rmf ho SMS uos [s 当 ?为 奇数 
0, 当 n 为 奇数 O 当 nn 为 个 数 


WARTIS—^448 XB TÍE, 定义 A 上 的 一 个 简单 序 A = {21,22 im) 
满足 如 下 性 质 (uA *): 对 每 一 个 zy € AG > 1), 有 惟一 的 一 个 x € {rn 27_1} 
是 其 相 邻 顶点 ， 记 为 i= (j). 定义 nq. q. 在 A 上 的 柱 集 概率 为 


Loe qa (W(t) = (t), € A) 


= [s*(e(z))] "ptem N ^9 TI etenim [| Viele), 
EAN EA 
(8.2.5) 
其 中 e(t) 在 S 中 取 值 . 

(8.2.5) 定义 惟一 相 容 的 柱 集 测度 (与 4 的 序 无 关 ), 因而 定义 (0,Z) 上 的 一 个 
概率 测度 . 这 样 定 义 的 tog 称 为 由 随机 和 矩阵 Q^, Q Rir m° 与 m° 确定 的 树 
T 的 奇偶 马 氏 链 场 . Uu] = Q° = Q BÍ, R nq. q. 为 ug, 并 称 之 为 由 Q 确定 
的 树 T 上 的 马 氏 链 场 . 

考虑 4 = T™ 的 序 ((0, 1), (1, 1), (1, 2), ttt (n, 1), . (n 2")}( 此 序 满 足 性 
i *). 由 (8.2.5) 有 


(n1 


paras(z” ) 


- 300 - BRETA THU HE 


n—1 27" 2h 


-z (zu) JI [| I[ (9l otiosa (2:5) 


m=0 h=1 s=2h—1 


k,l € S, S, (Ik, w) S°? (k.o), Se(k,w) ( 简 记 为 Saik), S° (k), Se(k)) 分 别 为 X77 
= {Xant € T™}, XY» = {Xant € Toe), 与 = {Xat € Tz) rh k 的 个 数 ， 
Su (Kk, lw), S9(Kk, 1, w), S£ (&, 0, o) (0| 3.79. Salk, 0), S2, D), SED 分 别 表 示 随 机 
变量 序 偶 


(Xmh Xm) 0€mzn—-1l,1€h«2"7,2h—1c£a«X2h,n71; 
(Xmh Xma) Ü < m < n — 1, HmA JA, 1Ehz27,2h-1zaz2h,n22; 
(Xmh Xi.) 0 S m S n — 1, BHmXdliit, 15 h «2^, 2h 一 1<s<2h, n> 1 
中 数 偶 (k,D 的 个 数 ， 令 dei) 是 S 上 的 Kronecker 5 函数 ， 则 有 


S. (ku) = XX kl Xm h) (8.2.7) 

Sa(k,w) = Y Yes, h), (8.2.8) 

S£(k,w) = Yita. (8.2.9) 

nlk, Lu) - Ex x ti， (8.2.10) 

Selk, lu) = "er > Penis, A) 11,3). (8.2.11) 
Selk, 1,w) = SES D I (mr (Xm hti (Xm s). (8.2.12) 


m=0 h=1 s=2h—1 


88.2.2 关于 状态 和 状态 序 侦 频 率 的 若干 强 极限 定理 


定理 8.23.1( 刘 文王 丽 英 、 杨 卫 国 2002) 设 Silk), Sa) 52 (5), Ss (0) 如 前 定 
X, Mi 


1 
Jim ES - Fem Y siata] =0 ugeg as, (8.2.13) 
i=0 
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im [号 加 Sg (agendi 
Im ire mew 22 Aa )Q*( li) = 0 HQ Qo” a.s.. (8.2.14) 


证 由 于 [T0| =t 一 1 故 上 式 等 价 于 


k) 
lim aR- D a (Q ( | =Ü Hgg- 8.5. (8.2.15) 


noo 


设 和 >0 为 常数 ， 大 固定 . 9 Pe = Q, P= (PEC) 436 S, 是 另 一 个 随机 算 
阵 ， 其 中 


AQ" (li) 


———— Mjzsk 
1-4 (A- 1)Q=°(k 
PEG = S Daa Ë (8.2.16) 
IO- DQE. Mj j=1-k, 
Ju 
Pi(Emtaltma) Mates T. [ss Mean) 
Q* (£n. | £m) =) H 1+ (À — 1)Q°(k|š) 5 > 0. (8.2.17) 


Pi(ZmkisTma) _ 
Qo(2« 1,2 mJ) 


B mg = (mp(0),z2(1)) ^ (m5(0),72(1)) 是 3 上 的 两 个 概率 分 布 ， 且 满足 条 件 


TEPRO = TRG)PRGBUM vV6jes. 


(8.2.18) 


W nene; 为 树 T 上 的 由 随机 矩阵 P P. 及 其 上 述 分 布 所 确定 的 奇偶 马 氏 链 
f. 与 (8.2.18) 类 似 ， 有 


(n) 
Be ee (zT) 


n-—1 27" 


= ng(Zo1) II II i ka (Emt alim po kaa 


m=0 h=1 3 一 2 号 一 二 


H (8.2.17)—(8.2.19), (8.2.6) 及 (8.2.8) 并 注意 到 P? = Q^, I*(m) = To(m 十 是 , 有 


f*(m) 
| (8.2.19) 


pin) _ m eim 
Peere X ni) Y TT. T! Ecaj (m) 
nq; q (XT?) — m*(Xo1) F5 $5 LEE aLQRO anal Xs) 


m=0 h=1 s=2h—1 


e n—1 2" 2h 1 e mjó;ilim, 
= Tk (Xo4) II II II AU mls QC isa) II | 1 ] ( 站 { h) 
7*(Xo1) aa ll+ (À — 1)Qe(k|i) 
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A Aye ERE "tma Xon] 
T*(Xo4) 


2Y7 EPL Tm (NX m.h} 


1 1 fmi 
Tlie 

Lm Xoa) seu | 1 — 

= OR I VEI 


由 引 理 8.1.1 及 (8.2.20), 得 


285 .(] 
| (8.2.20) 


lmsup [A65 In À — z Y=: li) J (t+ a- nere] <0 ugy- as.. 
(8.2.21) 
Hz À > 1. 将 (8.221) 两 端 同 除 以 In A, 得 


S2(k 1 < 4 enu 
lim "sup | 202 SA K >` St 4) (1 十 (和 一 Der(el) )| <0 poeg- as. 
i 二 0 


(8.2.22) 
出 (8.2.22) 及 不 等 式 
1-><z<z-1 (z >0) (8.2.23) 
& 
So(k 1 . 
lim sup E - x Y` sz, Gee) 
nc ^ 2 i=0 
seti) in ( 十 【一 ngren) 
< limsup $ ~ | -— - ee 
"m y Ead In A 
< Yu - Q" (ki) 
< 20 - 1). (8.2.24) 


B 2(4—1) 90 (À — 12-0), 故 由 (8.224), 得 


Vimsup [805 judi 一 x > SDQ (kli ? <Ü Hg gr- as. (8.2.25) 
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取 0< 和 <1l, 类 似 可 证 


lim inf i20 - -z Xs: 2 DRE «o 20 gege- as. (8.2.26) 
由 (8.2.25) 5j (8.2.26), 即 得 (8.2.15). 证 毕 . 

仿照 (8.2.15) 的 证 明 可 得 (8.2.14). 

推论 8.2.1 设 S,(k) 如 前 定义 ， 则 


[Sn 有 1 NÉS pe L qo Anor 
Jim. E - Fe Y(siaG0 (kli) + S2... (OQ «i| =0 poe Qo- às. 
i=l) 


. (8.2.27) 
证 BI S,(k) = Sk) + Selk), 由 (8.2.13) 5 (8.2.14), 即 得 (8.2.27). 
推论 8.2.2 i$ Q° = Q° = Q, Vul 
Salk 
Jim rm = T(k) ug-as. (8.2.28) 
rh m = (m(0).z(1)) 是 Q 的 平稳 分 布 
证 由 (8.227) 存在 H € Z, ng(H) = 1, 使 得 
+ w 1 
din. EZ )_ x56 jo] -0, ue H. (8.2.29) 


i=0 


将 (8.2.29) ÆA Q(j|k) (k = 0,1)， 然 后 将 所 得 的 两 个 等 式 相 加， 并 再 次 利用 
(8.2.29), 得 


1 

1 S541 (3, to) 

jim Í 9ndl 2,54 Salk v )QG|k) — Qu 
;=0 


， 1 
Syd, w) 1 


- 1 
= lim k _ 1 Y S, Gë, gg] =0, wcH, 


i=0 


> S, a (i, wo) QUII) gu] } 


其 中 QUnGp)(m 为 正 整 数 ) 是 由 Q@ 确定 的 m 步 转 移 概 率 ， 由 归纳 法 有 


n— Jn+m+l 


Sabah) 1 < ; 
ks m0 =o wem. (8230) 
:— 


amli) = mino (3l), ie S, Bal) = max(QU"^P" (|i), ¿e S), 


: 304 - WE 25 E HE t; AH E 


注意 到 Dlo Sa-l w) = |T] 2 27 — 1, 由 (8.2.30), 有 


" S, m Ai a 

lim sup Anim) < mlj weH, (8.2.31) 
. e nemo w ， 

liminf mip > amlj, weH. (8.2.32) 


HH lim, oo QUn* GD = (3). 故 有 
Jim onli) = lm A) = z(j). (8.2.33) 


H (8.2.31)—(8.2.33) 即 得 (8.2.28). 
推论 8.2.3 ił 


Q^(k) = max{Q°(kli), ie S), QXK) = min(Q°(k|ü), i€ S), 
Q'(k) = max{Q (kli), ie S), Qk) = min(Q"(&ii), i€ S), 


RUE 
limsup Š T° m € Q?(k)  HQeQes- 8.5., (8.2.34) 
lim inf = nl a > Qk), Hg-.Qe- a3, (8.2.35) 
limsup 02 < ° (k _ 2.36 
up [n 林 Q*( ) He Qo 2.8., (8. . ) 
lim inf = " QUE), Hor, Qe- a.s.. (8.2.37) 


证 dE N° 5 ON" ¿ral kO n Sr W R IB R. 注意 到 


1 
o (n) 一 二 6. š r] (n) 一 二 re 
Jim EZ IAT "| z, neN'5 lm [Tz/[T"| 5, n€ NŠ; 
: e (n) 1 o : e (n) 2 re 
im [Ti /IT®= 5, neN®: dim ITI/T™|= Z, ne N°. 
由 (8.2.13) 5 (8.2.26), 有 
üm ra (set - DE aÜ 2] =Ü Wq Qs as,， (8.2.38) 


z=Ü 


dim as [56 - 205: G) grai] =0 Bos Qe” as.. (8.2.39) 
izÜü 
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注意 到 Dio Sai) = Te 2IT2 a] [T2], 由 (8.2.38), 得 


Sali) 


KCN 


lim sup E: A 2 < Q'(k) mmapz2 Sa 


— Q'(k) poeg a.s. (8.2.40) 


El] (8.2.34) 成 立 ， 类 似 可 证 (8.2.35)—(8.2.37). 
推论 8.2.4 ^ 


Q'(k) = max[Q°(k), Q*(k)), Qk) = min(Q?(K), Q (k), 


则 有 
k 
limsup | <@Q*(k) Hoe, Qo- as., (8.2.41) 
lim inf a > -Q.k) Hoe ge- a-s.. (8.2.42) 


证 由 (8.2.34) 5j (8.2.36), 可 得 (8.2.41), 由 (8.2.35) 5j (8.2.37), 可 得 (8.2.42). 
定理 8.2.2 (xi X. 主 丽 英 . 杨 卫 国 2002) 设 S,(k,D, Sz (E, 0), Salki), SE (Kk), 
So(k) 均 为 如 前 定义 ， 则 


ium gm | nlk, Ü- 285.4 wea] =0 Qe QT 8.8., (8.2.43) 


dim TOY |z. )- 257.,009*(6) =0 jigg- as, (8.2.44) 
Jim RR ui (k,1) — 282. (k)Q* (lk) 一 25:.,000*Q)6] =Ü Hae,Qo- a.s.. 
(8.2.45) 
证 设 入 >0 为 常数 ，k,t€ 5 固定. 4 P^ =Q, P= (Pih hies, 
ES- MILER, HH 


AQ*(|k) _ Qr - ll) 
Ir DQ TF 0249 


P'(jj))-Q'G) izk jes. (8.2.47) 


由 (8.246) 5j (8247), 有 


P'(llk) = 


Sk zn.) 
m > 0. 


(8.2.48) 


P: (Zimt almh) = MUrm M (Tma) koir , 
Q*( zi iid tma) 1+ (À = 1)Q* (I|k) 
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m$ = (43(0),75(0) 与 wš = (n$(0),n5()) 是 满足 条 件 nS G)P"GI = 
mP UD 的 两 个 分 布 ， AP。,P* 为 机 了 上 的 由 随机 和 矩阵 P° 与 P° 及 上 述 分 布 
所 确定 的 奇偶 马 氏 链 场 . 注意 到 P^ = Q^, 与 (8.2.18) 类 似 ， 有 


(n) 
pp- polz” ) 


n-1 2" I*(m) Pim) 
=7\(z01) [III II 区 Zm41|Em, 中 C) 
m-—(h-—13a-2h—1 
(8.2.49) 
由 (8.2.48), (8.2.49), (8.2.9) 与 (8.2.12), 有 
ppe p (XT) 
Her Qe (XT) 
— 23004) lu I II [ea “ 
T (Xoa) oi aaa LO Cms Xmas) 
- n$ (Xo) TT T Il MIO Men] 1 | ME 
T*(Xo1) 25 ii coa LE (A7 0Q*(lk) 


NES 1) 5; (ka) 


1 255k) 
Ë + (À — Sas (8.2.50) 


^ ge (Xo. 1) 
由 (8.2.50) 及 引 理 8.1.1, 得 
sup S502 nlk, D InA — — S£. 1 人 In ( 十 人 一 ngra | <0 poeg- as.. 
(8.2.51) 


(8.243) 可 由 (8.2.51) 推出 . 
(P°(j), j € S, 其 中 

Q°(1 ~ Ilk) 
1 + (À — DGE) 


类 似 (8.2.24) 与 (8.2.25) 的 证 明 ， 
4 P = Q”, FREER P^ = 


B AQ tlk) E 
PU -icitsgqup POIs 


PG =Q Uli) i#k, jes. 
类 似 可 证 {8.2.44)， 因为 S. (5,7) = SUD) + S2(k,D, R (8.2.45) 可 由 (8.2.43) 与 


(8.2.44) HEH. 
推论 8.2.5 l Q = Q“ = Q”, WJ 


人 . - 
Jim qr -n(k)Q(llk) ug- a.s., (8.2.52) 
Sakk!) = 2Q(I1|E) HQT 2.5-， (8.2.53) 


nt B10) 
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其 中 z = (z(0),z(1)) 是 Q 的 平稳 分 布 ， 
证 注意 到 Silk) + Sh (k) = Snik), H (8.2.45), 有 


im t gre jl 
由 (8.2.54) 及 (8.2.28), BI (8.2.52) 与 (8.2.53). 
88.2.3 Shannon-McMillan sz ## ff] — ft 38 Yr 
i 上 是 定义 在 (0, 了) 上 的 一 个 概率 测度 ， 令 


1 a 
faw) = BI Ina (XT), 


fal) Wi TU 上 关于 DHEER. WE p — Hog, MH (8.2.6), 有 


n-1 27 


fo (o) imr inst Oo) + 5 $7 Y [rro erts Da) 


m=1 h=1 a=2h—1 
+I (m)]ln Q°( X mtl, xa)! 


-"—1 27 2h 


__ quj Un oon Y Y Y 


m1h=1 4s=2h—1 I-D 


Ü 
+I°(m)6,(X,, nil X ms) e") ) 


[Salk t) — 28, 1 (k)Q(1|k)] 2 0 ug- a-s- 
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(8.2.54) 


1 1 
yy [Im Qs OG) Qel 
k=! 


1 1 
= mo nr (Xia) +Y sts Din eap + sso Dee). (8.2.55) 


k=0 (=0 


断言 fn) 在 一 定 的 意义 下 收 伍 于 常数 的 定理 称 为 Shannon-McMillan 定理 (或 信 


源 的 渐 近 均匀 分 割 性 ). 我 们 知道 ， 当 Q^ Z Q^ hF, X nos» W| P, 


Shannon- 


McMillan 定理 并 不 成 立 (参见 叶 中 行 与 Berger 1998, p.54). 本 节 的 目的 是 要 给 出 
34 n — oo 时 渐 近 俯 密 度 lim sup, ,oo fn(w) H liminf, oo falu) 的 上 、 下 界 的 一 种 


估计 . 


定理 8.2.3( 刘 文 、 王 丽 英 、 杨 卫 国 2002) É Q'(k),Q,(k) 如 前 定义 ， 并 令 


Q"(I|k) = max(Q" (Ik), Q^(1]k)), 
Q, (I|k) = min(Q*(I]k), Q"(]k)], 


(8.2.56) 


(8.2.87) 
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则 
1 1 


lim sup fn(w) € — - Y (Q9 Q'(l)InQ.(k) po. qe as., (8.2.58) 


k=0 i=0 


1 


liminf f»(w) > — 2,2,94 k)Q.(]k) In Q*(I]k) ugeg- a-s- (8.2.59) 
(8.2 


k=0 1 


证 ”由 (8.2.55) 与 


limsup fa(w) < limsup yr 2, 2 (05,0) lo[1/Q*(IE)] + Sa (k, D lo(1/Q* IO] 


pes 


S, (5, D In[1 /Q, (1|)]. (8.2.60) 
k=0 l=0 


H (8.2.45),(8.2.41) 5j (8.2.56), 有 


S. (EI) 


lim sup "re. 


) < lim eup ig | 5-4 009" 01) + S2_ (6)9" GI 


< Q'(k)Q'(lk) | ug», ge a.s. (8.2.61) 
由 (8.2.60) 与 (8.2.61), BD f (8.2.58). 类 似 可 证 (8.2.59). 


注 8.2.1 jQ = ; 则 当 Q 一 ,8° Qm, Q*(Uk), QIK), 


2 
1 
2 
Q*(k) 与 Q. (k) 均 趋 近 于 1, 故 (8.2.58) 与 (8.2.59) 可 以 看 成 是 当 Q 一 Q,Q° — Q 
时 Shannon-McMillan 定理 的 一 种 逼近 . 


88.3 Cayley 树 上 随机 场 的 马尔 可 夫 带 近 


AGB LS uti KAR XT NE E XI Cayley 树 上 任意 随机 场 与 马尔 可 夫 链 场 之 
间 的 偏差 的 一 种 庶 量 ,建立 了 关于 状态 序 个 频率 的 一 类 强 偏差 定理 (也 称 为 小 偏差 
定理 ). 证 明 中 应 用 了 研究 马尔 可 夫 链 强 极 限定 理 的 一 种 新 的 分 析 方 法 . 

W N 为 正 整 数 ， 如果 第 n(n > 0) E ERHRET TE OUS SE n1 REB] N 
顶点 相 邻 ， 则 称 此 树 为 Cayley 树 ， 并 用 记号 Tw 表示 . 

以 下 工 恒 表 示 Cayley 树 Ty, TU? 表示 T 的 含有 从 根 顶 点 到 第 对 层 的 所 有 项 
点 的 子 图 . 用 |B| 表示 子 图 B 中 的 顶点 的 个 数 ， 则 


IT(9)| = Y” N*. (8.3.1) 
k=0 
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用 (n,j)(1 < j < Nmn>1l) 表示 第 ma 层 上 的 第 5 个 项 点. 为 统一 起 见 ， 也 记 根 项 
AA (0,1).7) 如 图 8.2 所 示 . 

W b 是 正 整数 ， 取 S = {1,2,… bhO = ST, w = w(:) € ,其 中 w(') 是 定义 
ET LES 中 取 值 的 函数 ， 夭 是 只 的 所 有 有 限 维 柱 集 产 生 的 o- 代数 ，jy 是 可 
测 空 间 (Q, F) LARRE, X= {Xut € T) 是 定义 在 (0,7) 上 的 坐标 过 程 ， 
MHH w= wi) En, 定义 


Xilw) = wit}, t€ T. (8.3.2) 


n n (n) (n) (9) 
XT” -(X,te T; MXT” 277) = p(T”). 


下 面 我 们 直接 利用 柱 集 的 分 布 给 出 树 上 马 氏 链 场 的 一 种 定义 ， 它 是 马 氏 链 
古典 定义 的 自然 推广 

XX 8.8.1 RP= (PUA Æ S EEUU IEIFIBEBDBEE, q = (q(1),--- ,a(b) 
ES 上 的 严格 为 正 的 分 布 ， jp (0,97) 上 的 概率 测度 ， 如 果 


AP(zol) = q(z01) (8.3.3) 


n—1 N” Ni 
ue(3T )- «(m I[ID I Pewrisems), n21, (834) 
m=0 i=1 j=N(i—1)+1 
则 up 称 为 随机 矩阵 P 及 分 布 q 决定 的 树 T 上 的 马 氏 链 场 . 
iE 8.3.1 IH (8.3.3) 5j (8.3.4) 定义 的 pp 也 依赖 于 q. 在 Spitzer(1975) Æ 
Berger 与 叶 中 行 (1990) 给 出 的 定义 中 @ ARA H P REDTRAM n= (80), 
c (b). 故此 处 的 定义 比 上 述 文献 中 的 相应 定义 稍 有 推广 . 
BE 8.3.2 WX N — 1, 并 记 (n,1) 39 n, 则 由 (8.3.3) 与 (8.3.4), 有 


n—1 
pp(aT™) = up(Xo = 29, = z,) = q(zo) [| Plemsilem). 

m=0 

这 就 是 马 氏 链 基 本 柱 集 的 分 布 ， 

定义 8.3.2 设 jp 如 前 定义 ， 上 是 (u,7) 上 的 另 一 概率 测度 ， {Xi,t 8 T) 
AT oa 的 分 布 为 
p(x T - aT™) — pleT™) > 0. 
令 


p(XT™) 


pn(W) = up (X705! (8.3.5) 
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p(w) = lim sup csi In pn{w), (8.3.6) 


ei 
in pnfw) 与 pw) 2 5I TE XT. u 和 np WJ A ABXSPNR ABP AR BDP, pw) 也 
称 为 渐 近 对 数 似 然 比 . 

注 8.3.3 mA p= up 时 p(w) = 0, 又 由 下 面 的 18.3.12) 表明 ， 在 一 般 情 
ATHA pfwy > 0, 故 e(w) 可 作为 了 上 的 任意 随机 场 与 马尔 可 夫 场 之 间 的 丛 差 

一 种 度量 . 

本 文 的 目的 是 通过 引进 样本 相对 精 率 作为 Cayley 树 上 任意 随机 场 与 马尔 可 
夫 链 场 之 间 的 偏差 的 一 种 度量 ， 建 立 了 关于 状态 序 偶 频 率 的 一 类 强 偏差 定理 【也 
称 小 偏差 定理 ). 在 证 明 中 应 用 了 研究 马尔 可 去 链 强 极限 定理 的 一 种 新 的 分 析 方法 
(参见 刘 文 、 杨 卫 国 1996a 及 2000). 

引 理 8.3.1 设 j 与 u; E (0,7) EMIT REGEM, DEF, (r,,n > 1) 是 
一 列 正 值 随 机 变量 序列 使 得 

lim inf ray mre 20, p-as. FD, (8.3.7) 

则 


1 xr? 
lim sup - In ES <0, m-as. T D, (8.3.8) 


证 XE Zn = pl XT /mn(XT™). 851, 
To 
E,(Zj)= ` plz (zT) 


Tn) 
zT! e ST(n) m (z ) 


一 y` m (z^) n) 


ST carin) 


= pa (gr). 


由 于 ST" € Z, pm 是 (0,7) 上 的 概率 测度 ， 从 而 (ST) < 1, BB Enla < 1. 
对 任意 ec> 0, H Markov 不 等 式 ， 有 


SO a (IT™ n Za > €) < È exp(-ITU?]e) < oo. (8.3.9) 
n=1 n—1 
因为 e 是 任意 的 ， 故 根据 Borel-Cantelli 9| 8 H (8.3.9), 有 
T ) 
lim sup i In pal <0 p-as.. {8.3.10} 


naw Th mI X77) T 


显然 (8.3.7) 5j (8.3.10) #7 (8.3.8). 
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注 8.3.4 n = npo = pp. H (8.3.10) 知 TE AEF, n(A) = 1, EB 


.. PCXT”) 
mint In eme 20, “Eh (8.3.11) 


由 此 有 
Q(u)z0, wcA. (8.3.12) 


E ke S, Sn(k,w)( 简 记 为 S.()) 是 XT) = {Xant E TO) sp k 的 个 数 ， 
Ss (kl, uw) (Wie Sae D) 是 随机 变量 序 偶 


(Xs Xm) 0 < m < n — 1, 1 <š < N”, NG-—1)+1<j<Nši n21 


中 状态 序 偶 (kD KAH, BR 


n 


S. (ku) = Y ` 322729] (8.3.13) 
m-Dj-1 
n-1 N” Ni 


Salk =I 37 AGO 41) (8.3.14) 


m=0 i21 jzN(i-1)41 


其 中 óC)kcsS) 是 5 上 的 Kronecker ó g. 令 


b 
anlk w) = S Sn(k, ou). (8.3.15) 
j=1 
Zl 
> S, (kw) = Tt) |, (8.3.16) 
b 
Y Sali, b uw) = Salk, w) — ó (Xt), (8.3.17) 
i=l 
n—1 N” 
= Y V NA), (8.3.18) 
m=0 j=1 
b 
Y onik, w) = [T| — 1. (8.3.19) 


以 下 恒 假 定 up 为 由 随机 矩阵 P = (POl) 及 分 布 9 决定 的 树 了 上 的 马 氏 链 
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引 理 8.3.2 设 0<c<lnfl -ap)-: 为 一 常数 ， 令 


D(e) = {w : p(w) < e} (8.3.20) 
M, = q/ i W, 0«A€ 1-4 (as — 1)e*], (8.3.21) 
则 L 
lim inf P > X p-ae. T Do (8.3.22) 
证 设 0< 入 <1 为 常数 ，Q = (QGH) iJ Es 是 另 一 随机 和 矩阵， 其 中 对 所 
Ame (1 -XPG 
. " 1—A)P/°3)0ç) , 
Q(k|) =, Qhi) = -PRD '? Z k. (8.3.23) 


用 zq 表示 由 Q 及 分 布 q 决定 的 树 T 上 的 马 氏 链 场 ， 则 


n—1N" Ni 


nq (zT) = efzoi) HII PI 96e 221. (8.3.24) 


m=0 2 一 1 J-N(i-1)41 


令 a 
as = mim P({k]i), i € S}, b, = max(P(k|i), í £ 5). (8.8.25) 
由 (8.3.4), (8.3.17), (8.3.19) 及 (8.3.23)—(8.3.25), 有 
po( X17) upe(x h pol XT” ) (xT) 2 HI gute 
u(XTP) — a(XT") up(XTO) — prs 1115 [PGI 
_ up( XT) b | À | | 1—À r^ d) — Su Ke un 
T XTE) LA | PG) i-a 
> up( XT) b B Sp (5, kw) | 1 一 和 pem 
“= (xr) 11 |z, la. 


(8.3.26) 


_ P (XT) à ) Sn (kw) sel Xo) 1-AÀ [T 71|-1— Sn (k u)-8 (Xo) 
1— ak 


—O (XT) Ab, 
利用 引 理 5.3.1, 由 (8.3.26) 知 ， 存 在 A(X) € Z, (AQ) = 1, 使 得 


ene d apx) Sn(k,w), Al- ar) ., (1-a) 
RTEA ^ som) R O RIY Sm goa) 2 S AQ 
(8.3.27) 
Bn 
lim sup FOS ník, oa e <n m -e(w) we A(A). — (8.3.28) 
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Hz À € (0,1 + (ax 一 lec) ER 0 < 1 + (a, — 1)e° < as, H 


M1 ak) 1— ar 
O< NIE By, 
由 (8.3.28) 及 (8.3.20), 有 
lim inf Su 人 J> [n i5 e] nn aa a) >0 w € AQ) n Dle). 
m ET jS) 2 [P373 b. (1— X) 
(8.3.29) 
^ 
2.0) = [In 1 E L d/in Ai —. 0« A « 1+(a — Des. 
易 知 存在 An € (0,1-- (a, — 1)e^) 使 得 Mk = g.(A&). 于 是 由 (8.3.20), 有 
lim inf grep e > Mk, wc A(A&) n Dc). (8.3.30) 
di (8.3.30) 及 (8.3.1), 4 
lim inf EET Salkku) = y y liminf s Er mij nb ur) > ^A. w € Alàs) N D(o). 
(8.3.31) 


由 于 Alr) = 1, 故 由 (8.3.31) XI (8.3.22) 成 立 . 
定理 8.3.1 ( 刘 文 , 王 丽 英 2003) Wt (X, te T) ER T EEI, ui up. My, 
DAHP 0€e«In(1—a,) 7) 等 记号 均 如 前 定义 ， 则 


map| ba) _ pla)| < 2y P(Ee/Ms + e/M p-as. F a 


34 0 < c< MPUIE) 时 
Su(k, lo 
im int 262) À Py] > —24/ P(l|k)c/ Mr, p-as. "T Dle). (8.3.33) 


证 设 和 >0 为 常数 有 LES 固 定 . $ R= (Ri) ij ES 是 另 一 个 随机 
矩阵 ， 其 中 


APUIE) P(j|k) 


R(|k) = I0 - DP R(j|k) = IX -1PE' jzi (8334) 
RGI) = PUli), iz&, je sS. (8.3.35) 
由 (8.3.34) 与 (8.3.35), 有 
R(z.a+Aij|Z=maá) _ hem nmn] | 1 Serres 
Plzmrislems) ^ TE (8.3.38) 
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. Hi (8.3.36), (8.3.13) 与 (8.3.14), 有 


HR(XT ” ) _ R (X) 


-1 
XTE 7 pp aT e 


*—1 N” Ni 
3H R(Xm+1s|Xmii) 
1 mtl, jl mt 
= qa(u) II I! Y Ix 
m=0 i—1 j=N(i—t}+1 P(Xm+1j|X mi) 


= qu (ui) Asm ete) ( 


1 NS5g&-i(b,u) 
) (8.3.37) 


1+0- 1)PUIk) 
1818 3] 8.3.1 与 引 理 8.3.2, 由 (8.3.37), 有 


jmsop{ en] InA- Ninfr (A 1)P(] - ge eee } <0. u- as. +. Dle). 


由 一 oo S, (Ru) (KR, w) 
(8.3.38) 
H (8.3.38), (8.3.6), (8.3.20) 及 (8.3.22), 有 
Sys (k,L o) 
limsup ANS vob nÀ 
In gg . T) 
SN [1 + (A — 1)P(]8)] + lim sup GS lim sup = " 
<N Infi + (A — D) P(Hk)| + M u- as. T D(c). (8.3.39) 


取 和 > 1. 将 (83339) 两 边 同 除 以 入 InX, 并 利用 不 等 式 1- 工 <inz<z-1 
(z > 0), 得 


. S, (E, 1, u) 
ep [Ner ay - 
In[1 + (À — 1)P(&)] 
< InÀ -PUR * rA 
(A — P(E) c 
S GI LU8t*inq-in 
(A OD mae p-as. 于 D(o. (8.3.40) 


4 g(4) = (X— D) PIE 7 = c D Bi c 01, gA) 在 X= 1+ ve/[MyP([E)] 
处 达到 它 在 区 间 (1,00) 上 的 最 小 值 g(1+ y e/| Mx PERN) = 2y P(ük)e/ Mi c c/ My. 
£ (8.3.40) 中 令 入 = 1+ y'c/ [MiP UKN, BÆ (8.3.32). 24 e = 0 BF, EZ à; > 1+0(i — 
oo), 由 (8.3.40) 5n (8.3.32) 此 时 亦 成 立 . 
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取 0 < À < 1. 将 (8.3.39) 两 边 同 除 以 N In A, 并 利用 不 等 式 1 -2 < Inz < 
r — l(r > 0), f8 


Sy, Li w) 
L umu 
mf +A- PUKY - 
2 mA PUE) + Tina do 
(à — DPUE) 
NM KAMIS 


A h(AÀ) = (À — 1)P(I|k) + AEREI 易 知 当 0 < c < MiPllk) 时 ， AO) 在 


À=1- Ve/[MyP(|k)] 处 达到 它 在 区 间 (0,1) 上 的 最 大 值 h(1— ye /M PUR) = 
—2 /P(l|k)e/My. 在 (8.3.44) 中 令 A— 1— V/e/[MiP(|k)], 即 得 (8.3.33). 当 c=0 
HÍ, HZ T; — 1 — 0(ç — oo), 由 (8.3.41) 知 (8.3.33) 此 时 亦 成 立 ， 定 理 证 毕 . 
推论 8.3.1 在 定理 8.3.1 的 条 件 下 有 
S, (KL uw) 


Jim e = P(lk) p-as T DO) (8.3.42) 


证 在 定理 83.1 pE c = 0, H (8.3.32) 5 (8.3.33), 即 得 (8.3.42). 
推论 8.3.2 i {Xante T) 如 前 定义 ，jp 是 由 随机 矩阵 忆 及 分 布 9 所 确定 
WT EIERE, N 


Snik lw) 


Byar NS, (ku) = (tlk) HP ad. (8.3.43) 


证 在 定理 中 取 j= pp, W| pr(w) = 0, D(0) = €. 于 是 (8.3.43) 可 由 (8.3.42) 
f. 


参考 文献 


王 梓 坤 (1978). 随机 过 程 论 ， 北 京 ， 科 学 出 版 社 

XAR, DOR (1992). 了 因 机 点 过 程 及 其 应 用 ， 北 京 ， 科 学 出 版 社 

刘 立 【1978)， 英 竹 可 列 齐 次 马 氏 链 转移 概率 的 强大 数 定律 .数学 学 报 ， 23, No.3, 231—242 

XX. (1979a). 一 类 亲 异 单调 函数 与 二 进 制 小 数 的 一 个 度量 性 质 ， 科 学 通报 ， 24, No.22,1009—1013 

AA 《1979b). XT WE m ifte HE. Bhd, 2, 259—260 

36x (19818). 实数 的 广义 二 进展 式 的 概率 性 质 ， 自 然 杂 志 ， 4, 872 

X| (1981b). 强大 数 定 理 中 的 纯 分 析 方 法 ， 科 学 通报 ， 26, No.23, 1470—1471 

WA (1982m). 美 于 可 列 非 齐 次 马 色 链 转移 概率 的 强大 数 定律 . 科学 通报 ， 26, No.23, 1470 

刘 文 (1982b). 奇异 单调 函数 在 实数 展 式 的 概率 理论 中 的 应 用 ， 数 学 的 实践 与 认识 ， No.3, 20—26 

Xyx 【1983)， 可 列 非 齐 次 马 氏 链 强 极限 理论 中 的 函数 论 方 法 .河北 工学 院 学 报 ， No.1, 11—19 

HWE (19848). 实效 展 式 的 一 个 性 质数 学 杂志 ， 4, No.3, 233—238 

刘 文 (1984b)， 可 列 非 齐 次 马 氏 链 的 分 析 模 型 及 其 应 用 .天 淮 市 数学 研究 成 果 选 编 ， 8 一 12, Xi, 天津 
科技 出 版 福 

刘 文 [1984c). 强大 数 定 律 中 的 分 析 方 法 ， 天 津 市 歼 学 研究 成 果 选 编 ， 13 一 17, XW. XHERHE UAE 

X (1987a). 马尔 可 去 链 的 一 个 强大 数 定律 的 推广 ， 数 理 统计 与 应 用 概率 ， 2, No.3, 333—340 


刘 文 (1987b)- m 值 随机 变量 序列 的 随机 比较 系数 与 马尔 可 夫 链 的 一 个 强大 数 定律 的 推广 ， 河 北 工学 院 学 
报 ， No.2, 15—22 


刘 文 (19888). £8— EIB W dox rcd HE I T TES WAREN, 4. No.1, 1 一 8 

Xu X (1988b). 二 值 陀 机 变量 序列 的 随机 比较 系 获 和 强大 数 定律 ， 河 北 工学 院 学 报 ， No.1, 1 一 6 

刘 文 (1989a}. m- 值 随 机 变量 序列 一 类 极限 定理 的 信息 条 件 ， 科 学 通报 ， 34, No.1, 5—8 

刘 文 (19895). FERIHA EEFE. PEER, 34, No.13, 890—893 

XIX (1991a). 任意 信 源 的 一 个 极限 性 质 ， 科 学 通报 ， 36, No.4, 254—257 

XIX (19944). Borel 正规 数 定理 的 -种 证 明 与 强 极限 定理 中 的 分 析 方 法 ， 河 北 工学 院 学 报 ， 23, No.4, 
82—RB6 

xx (1995). 4pfuNEHE DE ULE BEP P — 638 t. FER, 40, No.12, 1068—1072 

Xj X: (19962). —T- xt BEES UB t HC DS RR TR ED. OSSA ERAI, 18, No.4, 440—443 

XjX (19972). 非 负 整 值 随 机 变量 序列 的 OS anis. SFAR, 17, No.4, 375—381 

刘 文 (1997b). … 类 随机 企 差 定理 ， 河 北 工业 天 学 学 报 ， 36, No.4, 60—68 

刘 文 (19982). 一 类 强 偏 差 定理 与 Laplace 变换 方法 ， 科 学 通报 ， 43, No.10, 1036 一 -1041 

刘 文 (1998b). 离散 随机 变量 序列 的 - -类 强 极限 定理 ,河北 工业 大 学 学 报 ， 2, No.l, 1 一 7 

刘 文 (1999a). 一 类 随机 偏差 定理 与 母 函 数 方 法 .应 用 概率 统计 ， 15, No.l, 1—7 

刘 文 (1999b). 对 数 似 然 比 的 … 关 极限 性 质 ， 河北 工业 大 学 学 报 ， 28, No.4, 10—16 

ux: (2000a), NuEXESEUR EE 36 28 (0 2 ERES 河北 工业 大 学 学 报 ， 29, No.1, 34- 一 42 


刘 文 (2000b). 有限 非 齐 次 马 氏 链 随 机 转移 概率 调和 平 玖 的 一 个 强 极限 定理 ， 数 学 物理 学 报 ， 20, No.l, 
181—184 


5 3 X MK - 317 - 


t| x: (2000c). MARHE RRETH $E E Bl 88k yh. MARAP, 23, No.2, 275—279 

*| X. (2000d),， 极限 由 村 时 数 似 然 比 的 -- 类 强 偏 差 定 埋 . 应 用 概率 统计 ， 16, No.3. 269—276 

刘 (2001，- 瞻 奇 借 引 布 唤 数 的 构造 .应 用 福 素 统计 ， 17, No.4, 399—402 

"x (2002). 关 干 公平 赌 畏 的 一 个 强 极限 定理 .系统 科学 与 数学 ， 32, No.4, 452—457 

Tx. TORTE (2001). EEFETEBBULT GUT YID) -类 强 偏差 宪 理 ， 数 学 物理 学 报 ， 21A(1), 23 一 28 

Hx, CREE (20031. Cayley 树 上 耳机 场 的 乌 尔 可 无 描 近 与 -… 人 类 小 偏差 定 硅 ， 数 学 物理 学 报 . 33Al2) 

*-«;x, EAA, tmp (2002). ZAH Ear (8 A K BE 28 gr F 8 EISE Shannon-McMillan 4:88 t- - 
HEH. RRi 18, No.3, 277. 一 255 

8X. Tq (1999). X ARERI MARREN. 应 用 概率 统计 ， 15, No.4, 302-309 

HA. rW (11997). BARTA Cesaro 平均 收 合 的 条 件 ， 数 学 物 鲁 学 报 ， 17. 4T), 23—27 

Ox. xp (1995). WAH SECBEHUTS IER SURG OJERBUER aUo RR SE. MERI IE, 11, 
No.4, 318---384 

xx. 刘 玉 灿 (1996). tik IE i (ñ E HL 8 P IIIS -类 强 概 限 定理 . 河北 了 业 太 学 学 报 ，234. No.2, 1—7 

cx, WAA (19942). -类 条 件 施 立 的 随机 变 遇 序列 的 极限 定理 . 数理 统计 与 应 用 概 府 ，9, No.2, 50—52 

yx, WS (19940). %(6 GU E BOT 9 -类 强 律 的 信息 条 件 . 数理 统计 与 应 且 概 率 ，9, No.1,27 —31 

刘 文 ， 刘 自 宠 (1994c). Hil lE HL SE UT DTE SEX EE HRS 河北 工学 院 学 报 ， 23, No.3, 113—118 

刘 文 ， 刘 白 宽 【1994d). 整 值 随机 变量 序列 的 -类 强 律 的 信息 条 件 .， 河北 工 掌 院 学 报 ， 33、No.4, 87—92 


xix. MAR (1995). 整 值 随机 变 朋 序 列 与 二 重 马 氏 链 的 比较 及 其 慑 限 性 质 ， 应 用 数学 学 报 、 18，No-3， 
339—345 


刘 文 , EFE (19972). w S Pie ts E TB SUNE REPETI 73698 f REPERI S NOE, 17, No4, 316—323 

HE. MAR (1997 b). «E — aB HL SERE P| Ed HR SE -- SS AB ARIR E PE. 应 用 数学 ，10, No.1, 57 一 59 

"Ix. KHR 1997c). (BE KL EA- Re. ele. 10, No.1, 67—70 

WE AAE (1998). “类 被 有 轨 非 齐 次 马 氏 链 控制 的 条 件 独立 的 随机 变量 序列 的 强 极 银 定 理 ， 河北 工业 
大 学 党报、 28, No.5, 14.—21 

iix, pue (1989). 马尔 可 具 链 的 -个 强 坟 教 定 津 的 推广 卫 ， 河 北 工学 院 学 报 ， 18. Nod, 1—9 

RR. YEDEK (1987). 可 列 韭 齐 次 护 民 链 的 -- 个 强大 数 定 律 。 经 济 数学 ， 4, 7 一 16 

AE. HER. KER (1995). 可 询 非 齐 次 马 氏 链 汉 函 的 -- 炎 强大 数 定律 经 济 数 学 ， 12, No 1 一 8 

AA. H (1994). 关于 多 重 马 氏 链 的 一 个 极限 定理 及 其 推广 河北 工学 院 掌 报 ， 23, No.3, 12—19 

Ax. Par (1996). N 值 随机 变量 序列 的 一 个 强 极 限定 理 。 应 用 数 掌 ， 9, 增刊 54—57 

Xy i. SKBiWE (19095). .类 强大 数 定律 的 钛 广 ， 经 济 数学 ， 12, No2, 27—31 

RIX, KRE (2000). 日 值 随机 变量 序列 的 强 极限 定理 旗 阳 化 工学 院 学 报 ， No.3 

UE. KA (2001). 随机 序列 的 强 收获 件 .数学 物理 学 报 ， 31 入 (增刊 ) 672- -675 

AX. ¿Fah (1993). 相依 二 值 随机 序列 的 无 规则 性 定理 河北] 了: 学院 学 报 ， 32, No.3, 111—120 

Ax. Hd (1994a). 任意 二 值 随机 序列 无 规则 性 定理 ， 应 用 数学 学 报 ， 17, No.4, 534—540 

WR. EEE (1994b). Bernoulli 序列 泡 规 则 性 定理 的 推广 ， 应 用 数学 ， 7, No.4, 449—455 

ux. FAS O99621. 无 规 册 性 概 贸 在 马尔 可 夫 链 中 的 推广 ， 经 济 禾 学 ， 13， No.1, 32—37 

XO. 宋 纶 (19894， 生 尔 可 去 链 的 一 个 强大 数 定律 的 推广 工 ， 河 北 工 学 院 举报 ， 18, No.2, 11 一 20 


Vx. WE. wl (1989). B Oa kS m A S EMF BIET. SED SINA. 4, No.2, 
218—230 


Tox. K. xpur n. APARRA- IRERE BDJET GER K3 B. 29, No.2, 32—38 


. 318 . 强 偏差 定理 与 分 析 方 扶 


刘 广 ， 杨 卫 国 (1987). m 值 随机 变量 序列 的 一 个 极限 定理 .应 用 数学 ， No.4, 11—15 

刘 文 ， 杨 卫 国 {1988), 相依 二 值 随机 变量 序列 的 强大 数 定 律 ， 河 北 工学 院 学 报 。 17, No.4, 9 一 17 
Xx. HEE (1989a). 有 限 非 齐 次 马 氏 链 的 一 个 强大 数 定 理 . 河北 工学 院 学 报 ， 18，No.4, 13—17 
ix, EHE (1989b). 可 列 非 齐 次 马 氏 妊 的 一 个 强大 次 定律 ， 河 北 工学 院 学 报 ， 18, No.4, 107—114 
刘 文 ， 杨 卫 国 【1990a]， 关 于 -类 极限 定理 的 信息 条 件 ， 河北 工学 院 学 报 ， 19, No.2, 39 一 47 

刘 文 ， 杨 卫 国 【1990b). 任意 二 进 信 源 的 一 类 极 很 定理 ， 河 北 工学 院 学 报 。 19, No.3, 1 一 6 


刘 交 ， 杨 卫 国 (1990c). 有 限 非 卉 次 马 氏 链 的 随机 条 件 灶 与 Shannon 定理 的 推广 .河北 工学 院 学 报 ， 19. 
No.4, 65—78 


WX, WIE (10912). 广义 Cantor 形式 及 其 概 毕 性 质 ， 数 理 统计 与 应 用 概率 ， 6, No.3, 344 一 349 
AX. HEE (1991b). m 估 随 机 变量 的 几 个 强大 数 定 律 ， 河北 工学 院 学 报 ， 20, No.4, 9—6 


刘 文 ， 杨 卫 国 (1991c). TARER CIE BE dH RD — p oA Nx fe. 河北 工学 院 学 报 ， 20, No.4, 
9—16 


刘 文 , 杨 卫 国 (1992a). 一 类 对 可 列 非 齐 次 马 氏 链 普 遍 成 立 的 强大 数 定 理 , 科学 通报 ，37, No16, 1448-1451 
NX, PEPE {1992b). 可 列 非 齐 次 马 氏 刍 的 若干 极限 定理 .应 用 数学 学 报 ， 15, No.4, 479-— 489 
Xyx, f& BB (1992c). 可 列 非 齐 次 马 氏 链 的 一 类 极限 定理 ， 应 用 栋 率 统计， 8, No.1, 64 一 69 


刘 文 ， 杨 卫 国 (19924). 随 宙 比 较 系 数 与 马尔 可 夫 链 的 一 个 强 六 数 定理 的 某 些 推广 ， ARAH SEER, 
7, No.4, 49—61 


XX, HPE (19093). XT -类 极限 定理 的 信息 条 忻 . 河北 工学 院 学 报 ， 22, No.3, 1-6 

刘 文 ， 杨 卫 国 【1994aj-. HARRA EE ERRAT EREE. 庶 用 数学 学 报 ， IT, No.l, 85—99 

Xx, TE (1991b). 有 限 非 齐 次 马 氏 链 的 随机 条 性 博 与 Shannon-McMillan 定理 的 推广 ， 应 用 数学 学 
报 ， 1T, No.2, 234-247 

XiX, ELE (1994c). 关于 Shannon-McMillan 定理 若干 研究 .教学 物理 学 报 ， 14, No.3, 337— 345. 

Xx, BH (18958). FERH c k BF FB ASE FEM. 应 用 概率 统计 ， 11, No.2, 195—203 

UX., df (19962). EXE GEB S B EE URL LOS 5 MZEE. 数学 学 报 ， 39, No.1, 22— 36 


WX., EB] (1997a). X T Shannon-McMillan 定理 的 若干 研究 (I)， 数 尝 物 理学 报 ， 17，MNo.3， 
176--183 


XIX, i Tp (1997b). 关于 非 齐 次 马 氏 信 源 的 新 近 均 分 害 性 ， 应 用 概率 统计 ， 13, No.4, 359—366 

XQx, WEH {1999)， 非 齐 次 马 氏 链 二 元 泛 尖 的 若干 极限 性 质 ， 河 北 工业 大 学 学 报 ， 28, No.4, 1 一 9 

AE, £ TB (2001). 树 上 马 氏 链 场 的 若干 极限 性 质 ， 教 学 物理 学 报 ， 21A(4), 512—520 

刘 文 ， 杨 卫 国 ， 张 丽 娜 (1997)， 英 于 任意 随机 变量 系列 的 一 类 强 极限 定理 ， 数 学 学 报 ， 40, No.4, 537 一 
544 

刘 文 ， 金 少 华 【1992)， 关 于 可 列 非 章 次 马 氏 链 状 态 三 元 序 组 出 现 频 率 的 一 类 强大 数 定律 . 河北 工学 院 学 
报 ， 21, No.1, 91—101 

刘 文 ， 金 少 华 【1994j， 关 于 可 列 非 齐 次 马 氏 链 m 元 序 组 出 现 频率 的 一 类 强大 数 定 津 ， 河 北 工学 院 党报 ， 
23, No.3, 48—56 

x, Krit (1995). AMAER- TEREA. dE DAÉDISERR, 24, No.3, 20—26 

刘 文 ， 陈 出 刚 (1994). RAANEI- XAR KaHR, 9. No.4, 81—71 


刘 文 ， 陈 志 刚 (1996). HAMRE E RBT PF p| AR ESE H rZ). MAA AR, 19, 
No.3, 359—363 


参考 文献 : 319- 


HX, EA (1998). N 值 随机 变量 序列 的 AEP 型 极限 及 若干 强 仿 差 定理 .数学 物理 学 报 ， 18, No.4, 
444 一 450 


ZOX, ER. t BE] (2000). 关于 样本 炉 的 一 基 强 偏差 定理 ， 应 用 教学 学 报 ， 23,， No.4, 610—519. 


刘 文 , 顾 巧 论 (1995). 任意 m 值 随机 变 攻 序列 与 独立 序列 的 比较 及 其 极限 性 质 , 数学 物理 学 报 ，15, No.2， 
163—167 


Ax, MAE (1995). REELIL ELTE SERE THE BUE. PIJUTLAEDGESB. 24, No.3, 85—95 


XX, REDE (1991). XT BET BESEERETTAMEIE— TRAGE. ATARAR, 20, 
No.3, 23—35 


THO. EEE, Wx (1998). 离散 参量 非 齐 次 马尔 可 夫 链 函数 的 强大 数 定理 .数学 学 报 ， 31, No4, 
464 一 474 

HEA, XI (1988). 关于 可 列 非 齐 次 马 氏 链 的 常 运 性 与 强大 数 定律 , 河北 工学 院 学 报 ，197 ， No.2, 62—74 

那 疡 松 (1958). 实 变 函 数论 ， 徐 瑞 云 译 ， 北 京 ， 高 等 教育 出 版 社 

HIE (1993). pie (UMR). 北京 : 科学 出 版 社 

严 加 安 (1998). 谢 度 论 讲义 ， 北 京 ， 科 学 出 版 社 

EEE, EAM, AP (1985). 概率 论 基础 。 北京， 科学 出 版 社 

Æt, WA (1988). 二 重 马 氏 链 的 遍历 性 定理 ， 河 北 工学 院 学 报 ， 17, No.2, 99—108 

金 少 华 (2002). 关于 可 列 非 齐 次 马尔 可 夫 链 的 一- 类 强 极 限定 理 . 应 用 概率 统计 ， 18, No.3, 230—234 

张丽娜 (1998). 可 数 非 齐 次 马 氏 链 随 机 转移 概率 的 若干 极限 定理 . 河北 工业 大 学 学 报 ， 27, No.5, 71 一 75 

HEAR (2001). B 值 随 机 变量 序列 的 强 极限 定理 和 强大 数 定律 .应 用 概 它 统 计 ， 17, No.4, 417—420 

I5 EB (1992). 关于 有 限 非 齐 次 马 氏 链 绝 对 平均 和 谢 历 性 和 箭 率 . 河北 煤炭 建筑 工程 学 院 ，9, No.3, 158—161 

杨 卫 国 (1993). 可 列 非 齐 次 马 氏 链 粹 率 的 存在 定理 ， 数 学 的 实 晓 与 认识 ， No.2, 86—90 

Big. xx (1999) 关于 非 齐 次 二 重 马 氏 和信 源 的 若干 报 限 定理 ， 应 用 概率 统计 ， 15, No.2, 113—123 

HUE, WX (2001). 关于 Bethe WAL- ESKEMEN 江苏 理工 大 学 学 报 ， 22, No.4, 1—6 

HIE, 刘 文 (2002). 关于 非 齐 次 m Br EHE E AE. 应 用 数学 学 报 ，25 ，No. 4, 686 一 693 


杨 卫 国 ， 刘 开 第 (19983). 关于 可 列 非 齐 次 马 氏 链 的 Cesaro 平均 收 钱 性 及 二 元 示 数 的 强大 数 定律 。 数 学 物 


EIA, 刘 并 第 (1998b). 可 列 非 齐 次 马 氏 链 二 元 活 天 的 强大 数 定 律 . 应 用 概率 统计 ，14, No.4, 381—385 


B PBI, $64 (1997). 基于 可 列 非 齐 次 马 氏 链 的 Cesaro 平均 收 和 伍 性 ， 工 程 数 学 物理 学 报 。 14, No.1, 
57—62 


Bkk (1989). 随机 场 概论 ， 数 学 进展 ， 18, No.3, 294-32 

BX, (ER. NOB (1996). 非 齐 次 马尔 可 夫 链 的 访 历 性 的 一 些 结 困 ， 系 统 科 学 与 烤 学 ， 18, No4, 
311—317 

BTE, WER (1997). 混合 相依 随机 变量 的 概 限 定理 ， 北 京 ， 科 学 出 版 社 

RETER, WER, kitet (1989). 概率 论 和 极限 定理 引 论 ， 北 京 ， 高 等 教育 出 版 社 

WA (1998). 信息 论 中 的 极 段 定理 及 信 源 篇 码 和 信息 遇 . 南开 大 学 捕 士 论文 

FE Ë (1999). 可 询 值 随机 变量 序列 的 一 个 小 偏差 定理 ， 经济 数学 ， 16, No.3, 68 一 73 

邱 德 华 ， 杨 向 群 【1999). 无 规则 性 概念 在 非 齐 次 Markov 链 中 的 推广 ， 经 济 数学 ， 16, No.l, 42—4T 

备 庆 生 〈1986). (a Eit. PRUEBA E di 

RMR (1999). —2R3 f Zi BE E BLIB 3k TE. PREEDISACEGEIR (E WAS), 24, No.3, 260—266 

WORIE, MN (1993). f Le S SR(EAR UR. E  EISRISEHORIBIRGHE 


320 - 强 偏差 定理 与 分 析 方 法 


Adler, A. and Rosaisky, A. (1987a). Some general strong law for sums of stochasticlly dominated 
random variables. Stoch. Analysis Appl., 5(1), 1—16 


Adler, Á. and Hosalsky, A. (1987b). On the strong law of large numbers for normed weighted sums 
of i.i.d. random variables, Stoch. Anslysis Appl., 5(4), 467—483 


Algoet, P. and Cover, T. (1988). A sandwich proof the Shannon-MeMillan-Breiman throrem. Ann. 
Probat., 16, 899—909 


Algoet, P. and Cover, T. (1989). On the Chow-Robbins *fair " games problems. Bull. Inst. Math. 
Acad. Sinica. 17, 211—227(Taiwan) 


Ash, R. B. (1972). Real Analysis and Probability. Academic Press, New York 
Ash, R. B. (I975). Topic in Stochastic Process. Acedemic Press, New York 


Barron, A. R. (1985). The strong ergodic theorem of densities: Generalized Shannon-McMillan- 
Breiman theorem. Ann. Probab., 13, 1292—1303 


Benfamini, I and Peres Y. (1994). Markov chains indexed by trees. Ann. Probab., 22, 219—243 


Berger, T. and Ye, Z. (1990). Entropic aspects of random fields on trees. IEEE Trans. Information 
Theory, 38(5): 1006—1018 


Billingsley, B. (1986). Probability and Measure. Wiley, New York 


Breiman, L. (1957). The individual ergodic theorem of information theory. Ann. Math. Stastist, 
28 , 809—481 


Chow, Y. S. and Hobbins, H. (1961). On sums of independent random variables with infinite 
moments and "fair" games. Proc. Nat. Acad. Sei. U. S. A., 47, 330—335 


Chow, Y. S. and Teicher, H. (1988). Probability Theory. Spinger 

Chung, K. L.(&pJf 3E) (1961). The ergodic theorem of information theory. Ann. Math. Statist 32, 
612—514 

Chung, K. L.(# ĦA 3€) (1967). Markov chains with stationary transition probabilities. 2nd ed. 
Springer, New York 

Chung, K. L.(#F 3E) (1974). A Course in Probability Theory. Academic Press, New York. (rH i£ 
本 : 刘 文 ， 吴 让 泉 译 ， 上 海 科 学 技术 出 版 社 ， 1989) 

Cover, T. M. and Thomas, J. A (1991). Elements of Information. Wiley, New York 

Doob, J. L. (1945). Note on the law of large numbers and "fair" game. Ann. Math. Statist., 16, 
301—-304 

Doob, J. L. (1953). Stochastic Processes. Wiley, New York 

Feinstein, A. (1954). À new basic theory of information. TRE Trans. P-G.I.T., 2—22 

Feller, W. (1957). An introduction to Probability and Its Applications. Vol.1 2nd ed., Willey, New 


York. (第 一 卷 中 译本 ， 威廉 - RHE LEAL. HAW, PUE. FR. WLR, HERGBE OK RUH, H 
学 出 版 社 ， 1964, 1979) 


Freilich, G. (1973). Increasing continuous singular functions. Amer. Math. Monthly, 80, 018—919 


Gelbaum, R. B. and Olmsted, J. M. H. (1964). Counterexamples in Analysis. Holden —Day, San 
Francisco 


Goodman, G.5. (1999). Statistical independence and normal numbers: An Aftermath to Mark 
Kac's Carus Monograph. Amer. Math. Monthly, 106, 112—126 


Gray, R. M. (1990). Entropy and Information theorey. Springer, New York 


参考 文献 . 321: 


Gray, R. M. and Kieffer,J.C (1980). Asymptotically mean stationary measure. Ann. Probab, 8, 
962—973 

Hall, P. and Heyde. C. C. (1980). Martingle Limit Theory and Tts Application. Academic Press, 
New York 

Halmo, P. R. (1974). Measure Theory. Springer, New York (中 详 本 ， P. R. Halmoa €, x siis, 
测度 论 ， 科 学 出 版 社 ， 1965) 

Hewitt. E. and Stromberg K. R. (1994). Real and Abstract Analysis—A Modern Treament of the 
Theory of Functions of a Real Variable. Springer, New York{ 中 译本 : 突 分 析 与 抽象 分 析 一 一 现 
REAME, E i, K. R. ERZE W HR, KAKEM) 

Hildebrandt, T. H. (1963). Introduction to the Theory of Integration . Academic Press. New York 

Hunter, J. J. (19838). Mathematical Techniques of Applied Probability, Vol.1, Discrete Time Mod- 
els:Basic Theory . Academic Press, New York 

Hunter, J. J. (1983b). Mathematica! Techniques of Applied Probability, Vol.2, Discrete Tine Mod- 
els: Techniques and Applications. Academic Press, New York 

Isaacson, D. L. and Madsen, R. W. (1976). Markov Chains Theory and Applications, Willey, New 
York 

Jardas, C. and Pečarić, J. (1998). A note on Chung's strong law of large numbers. J. Math. Analysis 
Appl. 217, 328—334 | 

Karlin, S. and Taylor, H. M. (1975). A first Course in Stochastic Processes. 2nd ed., Academic 
Press, New York 

Kac, M. (1988). Statistical Indenpendence in Probability, Analysis and Numbers Theory. Carus 
Math, Monograph, Amer. Math. Monthiy, 106, 112—126 

Kemeny, J. G., Snell, J. L. and Knapp, A. W. (1976). Denumerable Markov Chains. Springer, New 
York 

Kieffer, J. C. (1974). A simple proof the Moy-Perez generalization of Shannon-McMillan theorem. 
Pacific J. Math., 5Ł, 203—204 

Kolmogorov, A. N. (1982). On the logical fundaction of probability theory. Lecture Notes in 
Mathematics, 1021, 1—5, Springer, New York 

Kvatadze, Z. A. and Shervashidze, T. L. (1986). On limit throrems for conditionally independent. 
random variables controlled by a Markov chain. Lecture Notes in Mathematics, 1229, Springer, 
Berllin 

Laha, R.G. and Rohatgi, V. K. (1979). Probability Theory. 2nd ed., Springer, New York 

Lin, K. H., Chen, T. G. and Yang, L. H. (1993). On the “fair” games problem for the weighted 
generalized. Petersburg games. Chinese J. Math.('Taiwan), 21, 21—31 

Liu Guoxin and Liu Wenr 刘 国 欣 与 刘 文 ) (1994). On the strong law of large number af functional of 
counable nonhomogeneous Markov chains. Stachastic Process. Appl. 50, 375—381 

Liu Wen( 4X) (1990a). Relgtive entropy densities and a class of limit theorems of the sequence of 
m-valued random variables. Ann. Probab., 18, No.2, 829—839 

Liu Wen{ġ X) (1990b). An extension of a strong law of large numbers of Markov chains. Approxi- 
mation. Optimization and Computing, 137—139, North-Holland Amsterdam 

Liu Went2l x) (1991b). An analytic technique to prove Borel strong law of large numbers. Amer 
Math. Monthly, 88, No.2, 146—148 


. 322 . 强 偏差 定理 与 分 析 方 法 


Liu Wen( 刘 文 ) {1994b). The comparison between arbitrary information soures and memoryless 
information sources and its limit properties. J. of Information & Optimization Science, 15, 
No.3, 394—404 

Liu Wen(3l X) (1894c). Some strong limit theorems relative to the geometric average of random 
transition probabilities of arbitrary finite nonhomogeneous Markav chains, Stat. Probab. Letts, 
21, 77—83 

Liu Wen( Wt) (1994d). A strong limit theorems under no assumption of stationarity or various 
dependence. Stat. Probab. Letts., 21, No.2, 157—161 

Liu Wen(X|X) [(1996b). A strong limit theorem for arbitrary countable nonhomogeneous Markov 
Chains. Chinese I. Math.(Taiwan), 24, No.3, 211—232 

Liu Wen[ 刘 文 ) (1996c). A strong limit theorem for generalied Cantor-like random sequence. Acta 
Mathematicae Applicatae Sinica, 12, No.3, 326—331 

Liu Wen(Al X) (1997c). A kind of strong deviation theorem for the sequence of random sequence of 
nonnegative integer-valued random variables, Stat. Probab. Letts., 32, 343—349 

Liu Wen(X| X) (1997d). A kind of small deviation theorema for the sequence of nonnegative integer- 
valued random variables. Taiwanese J. Math., 1, No.3, 201—320 

Liu Wen(3XilX:) (1898c). An approach to construct the singular manotone functions hy using Markov 
chains. Taiwanese J. Math., 2, No.3, 381—368 

Liu Wen(Jü3) (1999c). À theorem on gambling systems for arbitrary sequence of random variables. 
Bull. London Math. Soc., 31, 607—615 

Liu Wen(3iX) (1999d). A limit property of arbitrary discrete information sources, Taiwanese J, 
Math., 3, No.4, 539—546 

Liu Wen(XI| R) (2000e). A limit property of random conditional probabilities. Stat. Probab. Letta., 
49, No.3, 299—304 

Liu Wen(X]X) (2003). Some limit properties of the multivariate function sequences of discrete 
random variables. Stat. Probab. Letts. 81(2003), 41—50 

Liu Wen and Cheng Zhigang( 刘 文 与 陈 志 刚 ) (19095). The logarithmetic likelihood ratio and an 
analytic approach to prove strong limit theorems for discrete random variables. Chinese J. 
Math.(Thiwan)., 23, No.4, 371—382 

Liu Wen and Jiang Dongming(X4 3: 5; 4 IKE) (1997). An extension of a strong limit theorem on 
randon selection. Bulletin Institut of Mathematics, Academic Sinica(Taiwan), 25, No.4, 289— 
309 

Liu Wen and Li Zhicai( Xú X: 5 25:571) (1995). A strong limit theorem for frequencey of m-tuple of 
the sequence of integer valued random variables. Chinese J. Math.(Taiwan), 23, No.1, 87—91 

Liu Wen and Liu Guoxin( 刘 文 与 刘 国 欣 ) (1995). A class of strong lawa for functionals of countable 
nonhomogeneous Markov chains. Stat. Probab. Letts. 22, 87—96 

Liu Wen, Chen Shuang and Yang Weiguo(X| X, BkSE* £5 HE) (2003). A class of smali deviation 
theorem on sample entropy. Stats. Probab. Letta, (to appear) 

Liu Wen and Liu Zikuan( 55531 5 $2) (1995). Likelihood ratio and a class of strong laws for the 
sequence of Integer valued random varibles. Stat. Probab. Letts. 22, 240—256 

Liu Wen, C. L. Wang and Cheng R. J, Tomkins(X| X, X'PZi5 Tomkins} (1990). Generalized 
expansions pf real numbers and their probabilistic properties. J. of Math., 10, No.2, 161—172 


参考 文献 . 323 - 


Liu Wen and Wang Yujin(xI| x £ =Ë) (2002). A strong limit theorem expressed by inequalities 
for the sequences of absolutely continuous random variables. Hiroshima Math. J. Japan, 32, 
379—387 

Liu Wen and Wang Jinting(X| X: 5j £89) (2002). A strong limit theorem on gambling system. J. 

. Muitivariate Analysis, 84, 262—273 

Liu Wen and Wang Liying(XJ X; 5j EB 3) (2003). The Markov approximation of the random fields 
on Cayley trees and a class of a small deviation theorems. Stat. Probab. Letts. (to appear) 

Liu Wen and Wang Zhongzhi(Xl 3r 5E 5) (1995). An extention of a theorem on gambling system. 
J. of Multivariate Analysis., 55 , No.1, 125—132 

Liu Wen and Wang Zhongzhi(3| 3; 5t 25.35) (19968). An extention of a theorem on gambling system 
to arbitrary binary random sequences, Stat. Probab. Letts. 28, 51—58 

Liu Wen and Wang Zhongzhil 刘 文 与 下 忠志 ) (1996b). A strong limit theorem on random selection 
for countable nonhomogenous Markov chains. Chinese J. Math.(Taiwan), 24, No.2, 187—197 

Liu Wen and Yang Weiguo(X|X 5498 Hf) (1995b). A limit theorem for the entropy densities of 
nonhomogeneous Markov information source. Stat. Probab. Letts., 22, 295—301 

Liu Wen and Yang Weiguo(Xt X: tj d$ HE) (1995c). Some limit properties of nonhomogeneous Markov 
information source. J. of Combinatorics, Information & System Sciences(JCISS)., 20, Nos.1—4, 
279---282 

Liu Wen and Yang Weiguo( 刘 文 与 杨 卫 国 ) (1996b). An extention of Shannon-MceMillan theorem 
and some limit properties for nonhomogeeonus Markov chains. Stochastic Process. Appl., 61, 
129—148 

Liu Wen and Yang Weiguo(X1 X 51$ LA) (1996c). Some extention of Shannon-McMillan theorem. 
J. of Combinatorics Information & System Sctences, 21, No. 1—4, 211—223 

Liu Wen and Yang Weiguo( 刘 文 与 杨 卫 国 ) (2000). The Markov approximation of the sequences of 
N-valued varliables and a class of samll deviation theorems, Stochastic Process. Appl., 89, 
No.1, 117—130 

Liu Wen and Yang Weiguol( 刘 文 与 杨 卫 国 ) (2003). A class of strong limit theorem for the sequence 
of arbitrary random variables. Stat. Probab. Letta. (to appear) 

Liu Zikuan and Liu Wen(X Ë 32 5 3X) (1997). A strong limit theorem for the sequence of depent- 
dent binary random variables. Soochow J. of Math. 23, No.3, 323—328(Taiwan) 

Loéve, M. (1977). Probability Theory. Springer, New York, 4th ed. (H$: M. ade Hr. PXI 
$, LH., #7 HiH, 1965) 

McMillan, B. (1953). The basic theorem of information theory. Ann. Math. Stastist, 24, 196—219 

Mitrinovié, D. S. (1994). Analytic Inqualitiies. Spinger, New York( 中 译本 ， D. 5. 密 特 利 诺 维 奇 著 ， 
K, ERE, RIHTER, PEHAR) 

Parzen,E, (1962). Stochastic Process. Holden-Day, San Francisco 

Petrov, V. V. (1975). Sums of Independent Random Variabies. Springer, New York 

Pinker, M. 8. (1984). Information and information stability of random variables and processes. 
Translated and edited by Amiel Feinstein, San Fracisco 

Preston, C. J. (1874). Gibbs States on countable sets. Cambirdge Univ. Press 

Preston, C. J. (1976). Random Flelds: Lecture Notes in Math. 534. Springer, Berlin 


. 324. 35 18 25 E BE 53 5H fi 0s 


Rényi, A. (1958), Probability methods in number theory， 王 寿 仁 ， 越 民 义 译 ， 教 学 进展 ， 4, No4, 
465—510 


Rényi, A. (1970). Foundations of Probability. Holden-Day, London 
Revesz, P. (1968). The Strong Laws of Large Numbers. Academic Press, New York 
Riesz, F. and Sz-Nagy, B. (1965). Functional Analysis. Ungar , New York 


Rohatgi, V. K. (1976). An introuduction to Probability Theorey and Mathematical Statistics, Welly, New 
York 


Rosalsky, A. (1994). On the Lin-Chen-Yang Solution to the "fair" game problem. Chinese J. Math. 
(Taiwan), 22, 385—394 


Kosenblatt-Eoth, M. (1963). Some theorems concerning the law of large numbers for nop-homogeneonus 
Markov chains. Z.f. Wahrsch. 1, 433—455 


Rosenblatt-Roth, M. (1964). Some theorems concerning the strong taw of large numbers for nonho- 
mogeneous Markov chains. Ann. Math. Statist., 35, 566—576 
Ross, S. M, (1983). Stochastic Processes. Wiley, New York 


Shannon, C. (1984). A mathematical theory of communication. Bell System Tech J., 27, 379—423, 
623—658 


Shiryayev, A. N, (1984). Probability. Springer, New York 

Spitzer, F. (1975). Markov random fields on an infinite tree. Ann. Probab., 3, 287—398 

Stout, W. F. (1974). Almost Sure Convergence. Academic Press, New York 

Takacs, L, (1978). An increasing continuous sigular function. Amer. Math. Monthly, 85, 35—37 

Taylor, R, L. and Hu T. C. (1987). Sub-Gaussian techniques in proving strong laws of large numbers. 
Amer. Monthly, 64, No.3, 260—297 

Tomkins, A. J. (1884). Anther proof of Borel strong law of large number. Arner. Statist., 3B, 
208-—209 

Tulcea, A. (1960). Contributon to information theory for abstract alphabets. Arkiv for Mathe- 
matik, 18, No.2, 235—247 

Yan Jia-an, Liu Wen and Yang Weiguo[ 严 加 安 ， 刘 文 与 杨 卫 国 ) (2003). A limit theorem for partial 
sums of random variables and its application. Stats. Probab, Letts, 62, 79—86 

Yang Weiguo(t8 E) (1998). The asymptotic equipartion property for a nonhomogeneous Markov 
information source. Probability in the Engineering and Informational Sciences, 12, 509—518 

Yang Weiguo(ts LE) (2002). Convergence in the Cesáro sense and strong law of large numbers for 
nonhome-geneous Markov chains. Linear Algebra and its Applications. 354, 275—288 

Yang Weiguo and Liu Wen( T 15 Z| 2) (2000). Strong law of large numbers for Markov chain 
fields on a Bethe tree. Stat. Probab. Letta, 48, No.3, 245—250 

Yang Weiguo and Liu Wen( 杨 卫 国 与 刘 文 )[2001}. Strong law of large numbers and Shannon- 
McMillan theorem far Markov chains field on Cayley trees, Acta Mathemetica Scientia, 21B(4), 
495—502 

Yang Weiguo and Liu Wen[ 杨 卫 国 与 刘 文 ) (2002). Strong law of numbers and Shannor-Mcmillan 
theorem for Markov fields on trees. IEEE Trans, Inform. Theory, 48, No.1, 313—318 

Ye, Z. and Berger, T. (H rfj 5j Berger) (1993). Asymptotic equipartition property for random fields 
on trees. Chinese J. Appl. Probab. Stat., p, 206—309 


参考 文献 . 325 . 


Ye, Z. and Berger, T ( 叶 中 行 与 Berger) (1996). Ergodicity, regularity and asymptotic equipartition 
proterty of random fields on trees. J. of Combinatonarics, Information & System Sciences, 
21(2): 157—184 

Ye, Z. and Berger, T. (itt fj 5j Berger) (1998). Information Measure for Discrete Random Fields, 
Science Press, Beijing, New York 


a.s. K 81.1 
Borei-Cantelli 引 理 — $8.1 
Borel 强大 数 定律 — 81.1 
Kronecker 8 iS; — $2.2 
Laplace 变换 方法 他 7.1 
Lebesgue 定理 “51.1 
Lebesgue 测度 — 81.1 
m 元 数组 83.6 
Markov šj. — $4.2 
SM 定理 523 

随机 场 的 ~ $8.1 
入 场 费 
二 进 序列 $1.2 
J XY Cantor Æ “51.2 
马尔 可 去 链 821 

Jk 52.1 

非 齐 次 ~ 52.2 
分 布 

Poisson ~ 83.3 

负 二 项 ~ 834 

平稳 ~ $23 
4T B6.2 
公平 赌博 。 56.1 
KEA $1.1, 2.1 
用 不 等 式 表 示 的 极限 定理 
"ES $5.2 

His 85.3 

条 件 短 8L5 

BME ~ 852 
代数 

gr. §1.5 

NE 8L5 
平稳 性 — 51.2 
场 

oc $83 

随机 - 88.1 
连续 型 随 机 变量 $7.2 
tg 

XH ~ 83.1 

崭 近 平均 对 数 C 831 
网 微分 法 81.5 


B 684 
根 NT 
选择 系统 — 861 
HORSE 82.7 
单调 函数 导数 存在 定理 §L1 
karrg ”38.1 
B 58.1 
Bethe 8588.1 
Caylay — $8.1 
广义 Bethe ~ 88.1 
F R Caylay ~ 88.1 
Tu ER 
无 限 581 
独立 性 51.2 
dixit — 52.5 
测度 关于 网 的 微分 法 ”61.5 
信 源 
LEE $26 
马尔 可 夫 ~ 522 
信 源 的 淅 近 均匀 分 制 性 — 82.6 
样本 相对 俩 85.4 
心率 83.1 
调和 平均 85.3 
偏差 定理 
4 83.1 
马尔 可 夫 信 源 强 ~ $41 
强 ~ 831 
离散 随机 变量 $1.5 
渐 近 精密 度 — 88.2 
RHE 56.2 
K*UREEH 582 
随机 性 58.1 
随机 条 件 概率 55.3 
随机 矩阵 $23 
随机 转移 被 率 62.1 
随机 情 差 定理 55.2 
4mBülnIS “53.1 
WX — 56.1 
Borda $2.5 
二 密度 $5.1 


o C5 -3 € Ui e C) Nel 


B =æ == =e e e e = = = = 
O t o) — t cn e Qo M o — OC 


《现代 数学 基础 丛书 ?已 出 版 书 且 
( 按 初 版 出 版 时 间 排 序 ) 


. 数理 逻辑 基础 (上 册 ) 1981.1 WE MAA 著 

, 紧 黎 曼 曲 面 引 论 1981.3 MAR BUR KEE X 

. 组 台 论 (上 册 ) 1981.10 HAA ATE X 

,数理 统计 引 论 1981.11 KMAR # 

， 多 元 统计 分 析 引 论 1982.6 张 阁 庭 , 方 开 泰 $ 

,概率 论 基础 ”1982.8 7L. EN WAR 3X 

、 数 理 塑 辑 基础 (下 册 ) 1982.8 att MBI 著 

. 有 限 群 构造 (上 山 ) 1982.11 张 远 达 X 

.有限 群 构造 (下 贡 ) 1982.12 ” 张 远 达 著 

. 环 与 代数 1983.3 刘 绍 学 鞭 

、 测 度 论 基础 ”1983.9 KER # 

. 分 析 概 率 论 1984.4 Sois 著 

.EE$MGIBSE 19848 EKHE 3 

. 微分 方程 定性 理论 ”1985,.5 WEH TAC AIE REBEL E 
. 位 里 叶 积 分 算 子 理论 及 其 应 用 1985.9 优 庆 久 等 编 

. 六 几何 引 论 1986.3 J. FRK ARH 著 

. 概率 论 基础 和 随机 过 程 1986.6 王 寿 仁 XX 

. 算 子 代数 ”1986.6 SA X 

. 线性 偏 微 分 算 子 引 论 '( 上 册 ) 1986.8 齐 民 友 XE 

. 实用 微分 几何 引 论 ”1986. 11 苏 步 硼 等 X 

21. 
. 线性 代数 群 表 未 导论 (上 册 ) 1987.2. WSS X 

3. 模型 论 基 础 ”1987.8 THR # 

.i&/e 1987.11 Am * 

.CHERERSGSICE) 1987.12. AE X 

. 组 台 论 (下 项 ) 1987.12 HA ATA X*€ 

. 拟 共 形 映 射 及 其 在 黎 曼 曲面 论 中 的 应 用 1988.1 李 忠 $ 
. 代数 体 函 数 与 常 微分 方程 1988.2. WER 著 

. 司 测 代数 ”1988.2 A X 

. 近代 调和 分 桥 方 法 及 其 应 用 1988.6 Bib 著 

. "ems A REDE 1989.10 oC AT AE 


微分 动力 系统 原理”1987?.2 张 镇 生 3X 


. 428 = 


3 


33. 
34. 
. 仿 微 分 算 子 引 论 1990 
36. 
37. 
38. 


Ie] 


3 


en 


3 


40. 
41. 
42, 
. Banach 代数 ”1992. 11 
44. 
45. 
46. 
4T. 
,线性 整数 规划 的 数学 基 
49. 


r 


4: 


= al C2 


4 


oo 


5 


51. 
52. 
53. 
54. 
23. 
. Gel’ fond-Baker Jrik (E 38 E 7r # rR ËJ nu BI 
57. 


a 


5 


e 


5 


58. 


6 


$1. 
62. 
63. 


[7s 


5 


中 


6 


= 


6 


的 


m 


i 


e 


ge 


e 


强 偏差 定理 与 分 析 方法 


代数 拓扑 与 示 性 类 1989.11 马 德 春 著 aAA BM P 


非 线性 发 展 方程 1989 


.12 KE KBR # 


反应 扩散 方程 引 论 1990.2 叶 其 孝 等 # 


公理 集 人 台 论 导 引 1991 
解析 数论 基础 1991.2 
拓扑 群 引 论 1991.3 


二 阶 椭圆 型 方程 与 顶 圆 型 方程 组 ”1991.4 陈 亚 浙 , 匡 兰 成 X 


Xe 1991.4 B 


.2 陈 想 行 等 编 
.1 张 锦 文 著 
EFS * 
REDAT 著 


IE KFE 3 


AIC ETSHECERD 1992.1 齐 民 友 X 


EAP 1992 


随机 点 过 程 及 其 应 用 
FRAGAI RE 1993 


线性 微分 方程 的 非 线 性 扰动 1994.2 徐 登 洲 、 马 如 云 # 


广义 哈密 顿 系统 理论 及 


单 复 变 函 数论 中 的 几 个 
复 解 析 动 力 系统 1995 


.3 X#E X 

李 燃 仁 X 

1992.12 PZS # 
.4 RERE 著 


其 应 用 1994. 12 李 继 彬 、 赵 晓 华 . 刘 正 荣 车 


mE 1995.2 nih ¥ 
论题 1995.8 Eh% 著 
.10 Bg #* 


HAER 1996.3 Hon x 
Banach SAFIER 1997.5 kt bm. EXX € 


有 限 典 型 群 子 空间 轨道 生成 的 格 1997.6 TARE 3* 


Zae 1998.2 
对 称 性 分 岔 理论 基础 


半 群 的 S- 系 理论 199 
有 限 群 导 引 (下 ) 1999 
随机 模型 的 密度 演化 方 
非 线 性 偏 微分 复方 程 

复合 算 子 理论 1999.8 
离散 靳 及 其 应 用 1999 


调和 分 析 及 其 在 偏 微 分 方程 中 的 应 用 1995.10 苗 长 兴 
,惯性 流 形 与 近似 惯性 流 形 ”2000. 1 戴 正 德 . 郭 柏 如” 和 著 
65. 
.拓扑 空间 中 的 反例 20 
67. 
. 非 经 典 数理 逻辑 与 近似 
89. 


数学 规划 导论 2000.6 


拓扑 空间 论 2000,7 


序 半 群 引 论 ”2001. 1 


TERE 3 
1998.3 JA x 


9.2 xt x 

.5 RRRS # 

ik 1999.6 史 定 华 X 
1999.6 fup $ 
徐 完 民 # 

.9 PRR 编著 


due x* 
00.6 ERARE NE 
商 国士 ” 著 
推理 2000.9 FAR 车 
谢 祥 云 X 


1998.10 REE 著 


* 


《现代 数学 基础 扒 书 3 马 出 版 书 月 


70. 
11. 
72. 
73. 
74. 
75. 
76. 
71, 
78. 
79. 
80. 
81. 
82. 
83. 
81. 
85. 
86. 
87. 
88. 


动力 系统 的 定性 与 分 支 理论 2001.2 DEZ HH ERS mE 
短 机 分 析 学 基础 (第 二 版 ) 2001.3 黄 志 远 A 

非 线性 动力 系统 分 析 引 论 2001.9 RAA DFE 著 

高 斯 过 程 的 样本 轨道 性 质 2001.11 林 正 炎 . 陆 传 荣 , 张 立新 X 
数组 台地 图 论 2001.11 WEM X 

光滑 映射 的 奇 点 理论 2002.1 李 养 成 * 

动力 系统 的 周期 解 与 分 支 理 论 2002.4 WES X 

神经 动力 学 模型 方法 和 应 用 2002.4 阮 炯 , 顾 凡 及 . 素 志 杰 GE 
局 亩 论 一 一 代数 拓扑 学 之 一 ”2002. ?7 Mg 著 
-BERE 2000.8 BRS * 

排队 论 基础 ”2002, 10 PEE EHE 著 

算 子 代数 上 线性 映射 引 论 2002.12 FEJ ERE # 

微分 方法 中 的 变 分 方法 2003.2 陆 文 端 著 

周期 小 波及 其 应 用 2003.3 KER FEE EKRE 著 

集 值 分 析 2003.8 FERAN X 

数理 逻辑 引 论 与 归结 原理 2003.8 TAR X 

强 偏差 定理 与 分 析 方 法 2003.8 X # 
椭圆 与 折 物 型 方程 引 论 2003.9 MER FRY X 


有 限 典 型 群 子 空间 轨道 生成 的 格 (第 二 版 ) 2003, 10 JHE one X 


* 329 * 


